「词频统计」这事儿，踩坑的人是真多。我整理过一批读者提问，发现八成都栽在同一个地方——不是难，是没人把规则讲明白。
应该怎么搞
字数统计要区分：字符数(含空格)、字符数(不含空格)、字数(中文按字、英文按词)、段落数、句子数。Word的字数统计把一个英文单词算一个字、一个汉字算一个字。中英文混合统计要分词处理。大文件别一次性读进内存，用流式处理或逐行读取，否则容易OOM。数据格式(JSON/XML/CSV)要先确认再解析，猜格式必出错。
我见过的翻车现场
中文分词是难点，因为中文没空格。常用jieba等分词库，按词统计更准确。纯字符数好算(strlen/mb_strlen)，但字数和词数需要分词逻辑。SEO文案常要求"800字"通常指汉字数。编码问题九成是UTF-8和GBK没统一，全链路统一UTF-8能解决一大半乱码。编码转换先确认源编码，盲目转只会越转越乱。
看个真实案例
先搞清概念。词频统计这类文本操作，本质是对字符串按某种规则转换或分析。搞懂规则(编码标准、正则语法、格式规范)，操作就有章法；规则没吃透，照着抄都会出错。中文用mb_系列函数处理，旧函数容易截断半个汉字出乱码。写完正则或解析逻辑，一定用边界案例测：空串、超长、特殊字符、Unicode。
几个要注意的地方
下面这几条比正文还重要，别跳过：
- 字符数和字数不同："Hello世界"字符数7，字数3
- 中文分词是难点，纯字符统计用mb_strlen即可
- Word的"字数"是一个汉字算一个、一个英文单词算一个
- 用mb_系列函数避免strlen截断半个汉字出乱码
这一篇信息量不小，建议收藏起来，用到的时候翻出来对着算。比临时百度靠谱多了。
大文件别一次性读进内存，用流式处理或逐行读取，否则容易OOM。编码问题九成是UTF-8和GBK没统一，全链路统一UTF-8能解决一大半乱码。写完正则或解析逻辑，一定用边界案例测：空串、超长、特殊字符、Unicode。字符串操作要考虑多字节字符，中文一个字不等于一个字节。哈希和加密是两码事，前者不可逆后者可逆，别混着用。处理用户输入一定过滤特殊字符，防XSS和注入是基本功。数据格式(JSON/XML/CSV)要先确认再解析，猜格式必出错。能用成熟库就别自己造轮子，特别是编码、加密、解析这种容易出错的领域。中文用mb_系列函数处理，旧函数容易截断半个汉字出乱码。
常见问题
【词频统计是什么意思？】属于文本处理范畴，是对字符串按特定规则转换或分析的操作。具体含义要看场景，但核心都是让文本数据能在不同环境正确表示和使用。
【中文怎么分词统计词数？】中文没空格需要分词库(如jieba)，按词典和统计模型切分。"我喜欢编程"切成"我/喜欢/编程"3个词。纯字符统计用mb_strlen即可，词数统计需分词。
【字符数和字数有什么区别？】字符数是所有字符的个数(含标点空格)，字数通常指有意义的语言单位(汉字按字、英文按词)。"Hello世界"字符数7，字数3(Hello算1词、世算1字、界算1字)。
【字数统计怎么算？中英文怎么区分？】字符数用mb_strlen数所有字符；字数中文按字、英文按词，需要分词。Word的"字数"是一个汉字算一个、一个英文单词算一个。纯字符数简单，准确字数要分词。
