中文用户常会碰到一种直觉上的不公平:屏幕上汉字更少,意思也够了,额度却掉得比英文快。网上也长期流传过相反的说法,认为中文「一字千金」,用来提问更省 token。我核对了一组公开测试和厂商自己给出的粗口径,结论更接近前者,但幅度远没有「中文一定贵一倍」那么简单,它取决于分词器,而不是汉字本身。
Mark Huang 在 2026 年 4 月的一篇对照测试里,把同一份规则文档的英文版 CLAUDE.md 和中文版 CLAUDE.zh.md 送进了六套分词器,原文见 Chinese vs. English Tokens。英文是 5474 个字符、5514 字节;中文只有 2452 个字符,少了约 55%,但字节数反而是 5634,略高于英文。原因很具体:一个常用汉字在 UTF-8 里占 3 个字节,英文字母通常只占 1 个。字符更少,并不等于模型看到的材料更少。
Token 数把这件事说得更清楚。在 OpenAI 的 o200k_base(GPT-4o / GPT-5.x 一类)上,英文 1196 个 token,中文 1479 个,中文多 23.7%。换到更老的 cl100k_base(GPT-4 / GPT-3.5),英文 1200,中文 2001,差距拉到 66.8%。再到 GPT-3 时期的 p50k_base,英文 1329,中文 3753,中文几乎是英文的 2.8 倍,多了 182.4%。方向一次都没有反过来:同一份意思,中文的 token 更多。
有人会说,那是英文词表的问题,国产模型应该相反。同一组材料在 Qwen 2.5 上是英文 1203、中文 1351,中文多 12.3%;GLM-4 是 1202 对 1307,多 8.7%;DeepSeek-V2 是 1324 对 1427,多 7.8%。作者后来又把同样文件发到阿里云百炼的在线接口,核对真实的 prompt_tokens:Qwen 3.5 Plus 是 1272 对 1363,多 7.2%;GLM-5 是 1205 对 1310,多 8.7%。在线数字会含对话模板的开销,所以绝对值比离线分词略高,但相对差距没有翻转。中文模型把溢价压窄了,并没有把中文变成「更省」的那一侧。
词表里中文条目的数量,能部分解释为什么旧模型更吃亏。同一篇文章记录过 OpenAI 词表的变化:p50k_base 里大约只有 39 个 CJK 词条,中文要多消耗 182%;cl100k_base 上升到 754 个,溢价降到约 67%;o200k_base 有 5776 个,溢价降到约 24%。o200k_base 里已经有 3000 多个多字 CJK 词条,中文不再是一字一切,例如「用于」可以合并成一个 token,但大多数字仍然单独占位。可能的汉字组合太多,词表覆盖不过来。
更细的机制在一篇 2026 年的分词研究里写过:低频字更容易被拆碎。作者从零实现字节级 BPE,在约 2 万篇中文新闻上训练,发现词表只有 8K 时,训练里出现不到 100 次的字,平均会被切成 2.04 个 token,高频字则接近 1.00;把词表扩到 128K,低频字也能降到约 1.10。拿到现成的生产分词器上复测,OpenAI 的 cl100k 在稀有字上平均约 2.24 个 token/字;DeepSeek 约 128K 的词表把这个值压到 1.02,21.8 万个测试字里只有 272 个被拆开,约占 0.12%。中文贵不贵,很大程度是词表把预算留给了谁,而不是中文不能被切好。
厂商自己也给过粗口径,但不能拿来当精确换算。智谱在定价说明里写:GLM 系列通常大约 1 个 token 对应 1.6 个汉字,实际用量要以接口返回的 usage 和账单为准。按这个粗规则,上面那份 2452 字的中文材料大约会估成 1532 个 token,和测试里 GLM-4 的 1307、在线 GLM-5 的 1310 是一个量级,但并不相等。差出一两百个 token,已经足够让「用字数去除以 1.6」这种心算在免费额度上跑偏。
这对免费额度的影响是具体的。百炼新人额度通常是每个模型 100 万 Token,输入和输出共用。若你每次把一整段中文背景塞进提示词,输入会比同等信息的英文更快见底;若再开思考模式,推理过程往往计入输出,输出单价还通常更高。以 qwen4-max 为例,用尽赠额后输入 10 元/百万、输出 30 元/百万,输出是输入的 3 倍。免费层若还有每分钟 Token 数限制,同样内容的中文请求也可能更先触达限流,看起来像「额度还在,却已经被挡住」。DeepSeek 的 deepseek-flash 最大输出可达 384K,上下文 1M,一次长思考就能让「我只问了一句话」这种体感完全失真。
要不要为此改写成英文再发给模型?一般不必。在 Qwen、GLM、DeepSeek 这类词表上,溢价大约是 7% 到 12%,为了这点差距先翻译一遍,既可能把中文任务做差,翻译本身也要消耗 token。更有用的是三件能核对的事:用对中文切得更整的型号来跑中文任务;删掉提示词里重复粘贴的整段背景;每次都记下 prompt_tokens 和 completion_tokens,用自己的请求结构看平均值。宣传里的「100 万免费 Token」,只有落到你用的语言、分词器和提示词长度上,才是一个有意义的数字。
(分词对比数据来自 Mark Huang 2026 年 4 月的公开测试,以及上述中文分词研究;智谱的 1:1.6 为官方粗口径。模型词表和接口算法会更新,估算消耗时以当时接口返回的用量为准。)
本文由 AI 生成