用 Python 处理 UTF-16

UTF-16 是 Unicode 的一种变长编码，编码单元是 16 位：基本多文种平面（BMP，U+0000–U+FFFF）用 2 个字节，辅助平面（U+10000–U+10FFFF，如多数 emoji）用一对代理项共 4 个字节。下面重点说明标准库写法。

用 Python 处理 UTF-16

下面是 Python 中处理UTF-16的常用写法：

"中".encode("utf-16be")     # b"\x4e\x2d"
"中".encode("utf-16le")     # b"\x2d\x4e"
"中".encode("utf-16")       # 带 BOM：b"\xff\xfe\x2d\x4e"
"😀".encode("utf-16be")    # b"\xd8\x3d\xde\x00"

运行前确认输入的字符集（推荐 UTF-8），结果可以用本站工具交叉核对。

示例

输入：你好，世界

编码结果：

UTF-16BE 4F 60 59 7D FF 0C 4E 16 75 4C；UTF-16LE 60 4F 7D 59 0C FF 16 4E 4C 75；带 BOM 的默认 UTF-16（本机/Python 为 LE）FF FE 60 4F 7D 59 0C FF 16 4E 4C 75

说明：共 10 字节（不含 BOM）。BMP 字符 2 字节，辅助平面 4 字节（代理对）。

工作原理

BMP 码点直接存为 16 位。辅助平面码点 U：先减 0x10000，得到 20 位，前 10 位加 0xD800 作为高代理，后 10 位加 0xDC00 作为低代理。例如 😀 是 U+1F600 → D83D DE00（BE）。

JavaScript 示例

下面是 JavaScript 中处理UTF-16的常用写法：

// JS 字符串本身是 UTF-16 代码单元
"😀".length;                 // 2
[... "😀"].length;           // 1
new TextEncoder().encode("中"); // 这是 UTF-8，不是 UTF-16

运行前确认输入的字符集（推荐 UTF-8），结果可以用本站工具交叉核对。

本站的字符编码检测工具可以直接处理，计算在浏览器本地完成，适合快速核对结果。

常见问题

【英文用 UTF-16 浪费空间吗？】每个 ASCII 字符要 2 字节，是 UTF-8 的两倍，所以文本文件更推荐 UTF-8。

【一个汉字在 UTF-16 中占几个字节？】常用汉字位于 BMP，占 2 个字节；生僻字若在扩展区则占 4 个字节。

【如何区分 UTF-16BE 和 LE？】看 BOM：FE FF 是 BE，FF FE 是 LE；没有 BOM 时必须由协议声明。

文中示例可以在本站对应工具中验证；处理密钥、证书等敏感数据时，请注意保护隐私。

标签： UTF-16 数码开发