UTF-16开发中的常见错误

UTF-16 是 Unicode 的一种变长编码，编码单元是 16 位：基本多文种平面（BMP，U+0000–U+FFFF）用 2 个字节，辅助平面（U+10000–U+10FFFF，如多数 emoji）用一对代理项共 4 个字节。下面重点说明报错与纠正。

UTF-16开发中的常见错误

• UnicodeEncodeError / unpaired surrogate：字符串里有孤立代理项
• 文件开头出现 ÿþ 或 þÿ：UTF-16 BOM 被按 Latin-1 显示
• 截取字符串后出现 �：代理对被切断

示例

输入：123问

编码结果：

UTF-16BE 00 31 00 32 00 33 95 EE；UTF-16LE 31 00 32 00 33 00 EE 95；带 BOM 的默认 UTF-16（本机/Python 为 LE）FF FE 31 00 32 00 33 00 EE 95

说明：共 8 字节（不含 BOM）。BMP 字符 2 字节，辅助平面 4 字节（代理对）。

规则说明

• 不允许孤立的代理项
• UTF-16 不兼容 ASCII 的单字节形式（拉丁字母也占 2 字节）
• 文件开头的 BOM 用于识别端序；协议里更推荐明确写 UTF-16BE/LE
• 正则和 len() 在 JS/Java 里按代码单元计数，一个 emoji 长度是 2

Python 示例

下面是 Python 中处理UTF-16的常用写法：

"中".encode("utf-16be")     # b"\x4e\x2d"
"中".encode("utf-16le")     # b"\x2d\x4e"
"中".encode("utf-16")       # 带 BOM：b"\xff\xfe\x2d\x4e"
"😀".encode("utf-16be")    # b"\xd8\x3d\xde\x00"

运行前确认输入的字符集（推荐 UTF-8），结果可以用本站工具交叉核对。

本站的字符编码检测工具可以直接处理，计算在浏览器本地完成，适合快速核对结果。

常见问题

【如何区分 UTF-16BE 和 LE？】看 BOM：FE FF 是 BE，FF FE 是 LE；没有 BOM 时必须由协议声明。

【为什么 JavaScript 里 emoji 的 length 是 2？】length 按 UTF-16 代码单元计数，emoji 是一个代理对。

【UTF-16 和 UCS-2 有什么区别？】UCS-2 只覆盖 BMP，没有代理对；UTF-16 是 UCS-2 的超集。

文中示例可以在本站对应工具中验证；处理密钥、证书等敏感数据时，请注意保护隐私。

标签： UTF-16 数码开发