多随机种子基准与消融实验

已完成一个完全虚构、轻量、可复现的三分类基准演示，包含基线模型、改进模型和消融版本，使用 10 个随机种子，并实际生成了结果、统计比较、图表和中文 HTML 报告。

主要结果概览

配对比较以每个随机种子为配对单位：

在这组虚构数据中，改进模型和消融版本相对基线的提升在 10 个配对种子上均为正，且配对置信区间没有跨过 0；效应量也较大。不过，报告同时明确说明：

• 10 个种子仍属于较小的重复规模；
• 训练时间是当前运行环境下的墙钟时间，不能直接泛化；
• 统计显著性不等于实际部署价值；
• 消融版本略高于完整改进模型，并不自动说明消融设计更优，仍需结合机制、复杂度和更多重复实验判断；
• 不能依据某一个随机种子的最高成绩宣布改进有效。

交付文件

以下文件已保存为项目交付物：

• report.html：中文 HTML 报告
• benchmark_demo.py：可复现 Python 脚本
• metrics_by_seed.csv：每个模型、每个随机种子的准确率、宏 F1、训练时间
• summary_table.csv：模型汇总统计、标准差和 bootstrap 95% CI
• paired_comparisons.csv：配对比较、差值 CI、配对 t 检验、Wilcoxon 检验和 Cohen’s d_z
• error_categories.csv：逐种子失败案例类别记录
• metric_by_seed.png：逐随机种子指标曲线
• error_categories.png：失败案例类别汇总图
• run_metadata.json：种子、样本量、测试集大小和类别信息

复现方式

在包含脚本的目录运行：

python benchmark_demo.py

脚本会重新生成上述 CSV、PNG、HTML 和元数据文件，且不依赖外部数据下载。