跳转至

EvoSpeech · 模型研究与评测 Definition of Done

冻结日期：2026-07-20

本文件定义一个模型何时可以被称为“已理解”“已复现”和“评测完成”。这些门槛是项目的 最低科学标准，不因时间、算力、模型名气或已有工程投入而降低。

一、先纠正旧状态的含义

历史 G1–G4 只回答模型能否被可靠接入：权重身份、原生运行、真实表示、独立解码、字节计账 和资源 guard。尤其是 G4，从现在起统一称为 Transport Qualified（传输合同合格）。

Transport Qualified 不等于：

  • 读懂论文；
  • 复现论文主表；
  • 质量、内容、身份或表达通过；
  • 在统一 benchmark 上领先；
  • 评测完成。

旧记录继续保留作为工程证据，但所有模型都要按本文件重新进入研究闭环。

二、三条互不替代的评测轨道

A. Paper-native reproduction

回答：本地是否忠实复现了作者实际声称的结果？

必须固定作者论文版本、官方代码、官方 checkpoint、数据集及 split、预处理、metric 实现和 运行点。作者数字与本地数字逐项并排，不用另一个数据集上的近似结果替代。

B. Common benchmark

回答：所有候选在相同条件下，谁更适合我们的研究问题？

模型使用同一冻结语料、采样率策略、真实 payload 计账、指标版本、硬件协议和统计方法。论文 之间不同来源的 MOS/WER 不直接画在一张总榜上。

C. Project stress tests

回答：模型是否保住我们真正关心而论文未必覆盖的能力？

至少包括中英关键实体、数字与前导零、否定和作用域、专名、身份、表达、资源、延迟及多语言 探针。自动指标不能代替对应维度的人类验证。

三、逐模型八道 Gate

一个模型只有八项全部通过，才标记为 evaluation_complete。

D0 · Identity & provenance

产物：结构化 model record。

  • 论文标题、作者、会议/期刊或 arXiv 版本和原始链接；
  • 官方代码地址与固定 commit；
  • 官方 checkpoint、revision、哈希和许可证；
  • 精确模型变体、采样率、因果性、码率点；
  • 参数量按 encoder、decoder、辅助模型和共享先验拆开；
  • 第三方移植与官方实现分开标记。
  • 固定作者推荐环境、项目 runtime profile、目标 OS/架构/加速器；容器不可忠实执行时预先声明 native exception，而不是结果失败后补理由。

验证：另一台机器能够从这些身份信息定位到同一实现；所有事实都能追溯到 primary source。

D1 · Paper deep read

产物：可以独立阅读的论文深读页面。

  • 论文解决什么问题，为什么已有方法不够；
  • 核心贡献逐条对应论文证据，而非复述摘要口号；
  • 关键结构、数学目标、量化/表示、训练和推理流程；
  • 训练数据、损失、消融、主要结果与适用边界；
  • 作者明确声称了什么，哪些是我们的解释或推断；
  • 与前序工作及引用论文的关键继承关系。

验证：页面中的每条核心主张有论文页码、章节、表格、公式或官方补充材料定位。

D2 · Core code deep read

产物：核心代码实现解读和 paper-to-code map。

  • 从公开入口追踪到 encoder、quantizer、token/payload、decoder；
  • 标出关键类、函数、tensor shape 和数据流；
  • 论文公式分别落在哪段代码；
  • 推理默认值、隐藏 side information、padding、归一化和随机性；
  • 官方代码与论文描述不一致或未实现的部分；
  • 本项目 adapter 改了什么、没有改什么。

验证：至少一个最小样本保存中间 shape/表示；核心调用路径有固定 revision 的文件和行号定位。

D3 · Reproduction protocol freeze

产物：执行前冻结的 protocol record。

  • 论文主表要复现哪些 operating points 和 headline metrics；
  • 每项使用哪个官方或权威数据集、版本、split 和样本数；
  • 数据许可、哈希、筛选和预处理；
  • metric 代码、版本、方向和聚合方式；
  • 作者值、预声明等价容差、统计单位和失败规则；
  • 预计计算、存储和人工听测成本。
  • 固定正式运行的 image digest/build recipe 或 native exception、mount 合同、硬件条件与允许的 跨平台漂移；mutable tag 不能作为正式身份。

验证：在看到本地最终数字前完成 protocol；事后修改必须版本化并说明原因。

D4 · Paper result reproduction

产物：作者值与本地值对照表、原始结果和复现报告。

  • 覆盖论文主要结论所依赖的全部官方测试集和关键码率点；
  • 保存逐样本结果，不只保存平均数；
  • 报告 local − paper、置信区间、等价区间和 verdict；
  • 无法取得数据/脚本/权重时标为 blocked 或 approximate，不能写成通过；
  • 解释合理实现漂移和任何未通过项。
  • 保存 experiment capsule、宿主/container inventory、image digest、完整命令和输出 manifest； Apple/MPS、Linux CPU 与 CUDA 数字分条件报告，不混作同一总体的重复样本。

验证：对指标 m 预先给出容差 δ_m，原则上要求：

CI(local_m - paper_m) ⊆ [-δ_m, +δ_m]

参数量、hop、token 数和理论码率等确定性事实要求精确一致；客观质量指标按论文方差、官方 容差或预注册 bootstrap 等价区间判定；MOS 必须保留听者和题目层级的不确定性。

D5 · Frozen common benchmark

产物：统一横评表及 Pareto 数据。

  • 与至少一个通信锚点和一个最强相关神经模型同场；
  • 使用相同音频、真实 payload、指标和硬件协议；
  • 内容、身份、表达、质量、码率、模型先验、计算和延迟分账；
  • 逐语言、逐说话人/样本统计并给置信区间；
  • 失败和不支持项用 unsupported/abstain/failed，不得伪装成零违规。

验证：一条冻结命令可重建机器可读结果和页面中的所有表格。

D6 · Project-specific stress

产物：关键内容、多语言、资源与鲁棒性报告。

  • 中英文主测试；德/法/西/日/韩逐语言 probe；
  • 数字、金额、日期、前导零、否定、姓名和专名专项；
  • 说话人身份与表达分开评估；
  • 长音频、边界长度、静音、削波、异常输入和确定性重放；
  • 合法 rate/resource stress curve，而不是修改一个无效参数；
  • 对前沿候选执行相应维度的人类盲测。

验证：明确第一个崩溃维度、适用范围和至少一个反例；不能只展示赢家样本。

D7 · Synthesis, audit & reproducibility

产物：最终模型页面、完整证据包和研究结论。

  • 页面把论文、代码、官方评测、本地复现、统一横评和洞察连成一条逻辑链；
  • 每个表中数字由机器产物生成，不手抄；
  • 提炼真正可迁移的机制、依赖条件和下一条可证伪实验；
  • 命令、环境、数据版本、结果、commit 和哈希可追溯；
  • 独立 clean container/fresh process 重跑关键点；有 native exception 时从干净原生环境重放； 高价值结论再在第二台主机或第二次独立实例重复；
  • 链接检查、registry 校验和文档严格构建全部通过。

验证：一个不了解该模型的读者仅阅读页面，就能解释其核心机制、代码路径、官方主张、本地 复现是否成立、适用边界及对 EvoSpeech 的启发。

四、状态不再用一条进度条混在一起

每个模型分别记录三条状态：

维度 合法状态
知识 unreviewed → source_indexed → paper_deep_read → code_deep_read → mechanism_verified
执行 not_started → asset_verified → runtime_qualified → transport_qualified
评测 not_started → protocol_frozen → paper_reproduced → common_benchmarked → project_stress_complete → evaluation_complete

例如，一个模型可以代码已跑通但论文未深读，也可以论文理解充分但官方权重不可得。网站必须 同时展示三条状态，禁止用一个绿色勾号掩盖未完成维度。

五、什么叫“足够权威、足够数量”的数据集

不是随意堆很多测试集，而是覆盖三类证据：

  1. 论文原生证据：支持论文 headline claim 所需的全部官方/作者指定测试集；
  2. 共同可比证据：至少一个同版本、同协议的权威公共 speech benchmark；
  3. 项目有效性证据：与中英通信、关键实体、多语言和端侧合同直接相关的 holdout。

一般音频 codec 若论文把音乐/环境音作为主要结论，也必须复现相应轨道；但 EvoSpeech 的项目 排名单独基于 speech 合同，不能让音乐均分掩盖语言内容失败。

六、证据和措辞纪律

  • 论文、官方代码、官方模型卡、标准正文和数据集原始发布页为 primary source；
  • 博客、排行榜、第三方 README 和二次实现只能作为线索或辅助解释；
  • 所有外链记录访问日期；重要文件固定 revision 或归档标识；
  • paper_claim、local_measurement、inference、hypothesis 四类内容在页面中明确区分；
  • 任一阻塞项存在时，最终状态最高只能是相应前一 Gate；
  • “支持”“跑通”“复现”“评测完成”四个词不得互换。
  • “用了 Docker”不等于“可复现”：若缺 image digest、输入 hash、硬件 inventory、随机性、命令和 输出 manifest，仍然不满足 D7。