CN-NewsTTS Bench 起源于作者在网易云音乐负责 AI 资讯播客期间遇到的真实线上播报问题反馈。我们观察到，中文新闻播报中频繁出现的比分、型号、单位、连字符、百分号、英文缩写和中英数混排名称，在直接输入 TTS 时，容易被通用文本归一化为另一种语义：苏-27 可能被读成“苏负二十七”，96-91 可能被读成范围，620N·m 可能被逐字母或按符号读出。

这类错读不是单纯的“声音不好听”，而是信息含义被改变。因此，CN-NewsTTS Bench 只评估一个明确问题：在不使用外部规则前端、LLM 改写、SSML 或人工修正的条件下，TTS 产品能否把中文新闻中的关键读法目标读对。它不是 MOS，也不是整句 WER/CER，而是一个面向 raw-input 中文新闻 TTS 的 target-level 自动读法准确率 benchmark。

本 benchmark 发布的是公开、可复现的新闻式测试集和自动评估协议，不包含用户数据、内部业务数据、线上日志或未公开内容。

这些不是罕见边角 case，而是中文新闻播报里会直接改变信息含义的读法错误。CN-NewsTTS Bench 把这类错误显式拆成 target-level positive readings 和 negative readings，让榜单能定位“哪个目标被读错”，而不只给整句平均分。

Zenodo v0.1 归档包含：

音频均为 canonical 24 kHz mono wav；provider 返回的原始重复音频不包含在归档中。

ASR ensemble：MiMo API ASR + SenseVoiceSmall + Paraformer-zh。

Strict Acc = correct / all_auto_evaluable_targets。unknown 不从主榜分母里删除。

每条样本是一段中文新闻风格短句，包含一个或多个读法风险目标。每个 target 都带有可接受读法和已知错误读法，评分器只在 target level 上判断这些关键读法：

Raw Input Product Track 只允许 TTS provider 自身默认处理，不允许外部规则前端、LLM 改写、SSML pronunciation hint 或人工修改 benchmark 文本。Provider 内部 normalization 视为被测产品行为的一部分。

核心文件：

data/dev.jsonl
data/test_public.jsonl
data/dataset_summary.json
data/schema.json

数据说明见 docs/dataset_v0.1.md。

v0.1 使用三路固定 ASR：

对每个 target、每条 ASR transcript，评分器匹配 positive readings 和 negative readings，并做三路投票：

主指标：

Strict Auto Accuracy = correct / all_auto_evaluable_targets
Resolved Accuracy    = correct / (correct + wrong)
Coverage             = (correct + wrong) / all_auto_evaluable_targets
Unknown Rate         = unknown / all_auto_evaluable_targets

完整协议见 docs/scoring.md。

git clone https://github.com/Jayden-X-L/cn-news-tts-bench.git
cd cn-news-tts-bench

python3 scripts/validate_dataset.py data/dev.jsonl
python3 scripts/validate_dataset.py data/test_public.jsonl

python3 scripts/score_submission.py \
  --dataset data/test_public.jsonl \
  --asr-results results/asr_results/public_test/volcengine_tts.asr.jsonl \
  --model-id volcengine_tts \
  --output-dir /tmp/cn-news-tts-repro

python3 scripts/aggregate_leaderboard.py \
  --per-model-dir results/per_model_public_test \
  --results-dir /tmp/cn-news-tts-leaderboard/results \
  --site-dir /tmp/cn-news-tts-leaderboard/site

shasum -a 256 -c release/v0.1_core_checksums.sha256

复现 public leaderboard 时可以把 {model_id} 替换为：

volcengine_tts
azure_speech_tts
google_cloud_tts
minimax_tts
aliyun_tts
mimo
aws_polly

一页式提交流程见 SUBMIT.md。问题和协作可联系 xiaobiluo@gmail.com。

1. 从 data/dev.jsonl 或 data/test_public.jsonl 读取原始文本。
2. 每条样本生成一个音频文件，不做外部 text normalization、LLM rewrite、SSML 或手工修正。
3. 按 docs/submission.md 准备 system_card.json、manifest.json 和音频目录。
4. 用三路 ASR 生成 transcript，或按 docs/asr_results_format.md 提供等价 ASR result。
5. 运行 scripts/score_submission.py 得到 target-level 分数。

提交样例见 examples/asr_results/example_model.asr.jsonl。

cn-news-tts-bench/
  data/                         # dev/public test data and schema
  docs/                         # task, scoring, submission, release audit
  examples/                     # minimal ASR result example
  paper/                        # benchmark preprint note
  results/
    leaderboard.csv
    leaderboard.json
    asr_transcripts/public_test/
    asr_results/public_test/
    per_model_public_test/
  scripts/                      # validation, scoring, aggregation
  site/                         # GitHub Pages leaderboard
  tools/api_config_builder.html # local TTS API config builder

论文：

@misc{luo2026cnnewsttsbench,
  title = {CN-NewsTTS Bench: A Target-Level Automatic Benchmark for Raw-Input Chinese News Text-to-Speech Pronunciation Accuracy},
  author = {Luo, Shijun},
  year = {2026},
  eprint = {2606.24714},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL}
}

数据：

CN-NewsTTS Bench v0.1. Zenodo. https://doi.org/10.5281/zenodo.20822327

• Code: MIT
• Dataset、固定 ASR transcripts、benchmark results、文档和 metadata：CC BY 4.0
• 生成 TTS 音频作为 evaluation artifacts 发布在 Zenodo；复用可能受各 provider/API 条款约束，不应在未做额外权利审查时视为无限制语音训练语料。

Leaderboard submission questions: xiaobiluo@gmail.com.