UTF-16怎样一步步运算

56 0

UTF-16 是 Unicode 的一种变长编码,编码单元是 16 位:基本多文种平面(BMP,U+0000–U+FFFF)用 2 个字节,辅助平面(U+10000–U+10FFFF,如多数 emoji)用一对代理项共 4 个字节。下面重点说明分步原理。

UTF-16怎样一步步运算

BMP 码点直接存为 16 位。辅助平面码点 U:先减 0x10000,得到 20 位,前 10 位加 0xD800 作为高代理,后 10 位加 0xDC00 作为低代理。例如 😀 是 U+1F600 → D83D DE00(BE)。

示例

输入:123问

编码结果:

UTF-16BE 00 31 00 32 00 33 95 EE;UTF-16LE 31 00 32 00 33 00 EE 95;带 BOM 的默认 UTF-16(本机/Python 为 LE)FF FE 31 00 32 00 33 00 EE 95

说明:共 8 字节(不含 BOM)。BMP 字符 2 字节,辅助平面 4 字节(代理对)。

常见报错

  • UnicodeEncodeError / unpaired surrogate:字符串里有孤立代理项
  • 文件开头出现 ÿþ 或 þÿ:UTF-16 BOM 被按 Latin-1 显示
  • 截取字符串后出现 �:代理对被切断

怎样核对结果

用 file、编码检测工具或 Python decode 尝试 utf-16le/be,看哪种能得到通顺文本,并检查是否有 BOM。

本站的字符编码检测工具可以直接处理,计算在浏览器本地完成,适合快速核对结果。

常见问题

【英文用 UTF-16 浪费空间吗?】每个 ASCII 字符要 2 字节,是 UTF-8 的两倍,所以文本文件更推荐 UTF-8。

【一个汉字在 UTF-16 中占几个字节?】常用汉字位于 BMP,占 2 个字节;生僻字若在扩展区则占 4 个字节。

【如何区分 UTF-16BE 和 LE?】看 BOM:FE FF 是 BE,FF FE 是 LE;没有 BOM 时必须由协议声明。

文中示例可以在本站对应工具中验证;处理密钥、证书等敏感数据时,请注意保护隐私。

署名:123问编辑部 · 最近修订:2026-11-11 · 已按编辑与审核说明检查;内容仅供参考,不构成医疗、法律或投资建议。发现错误可查看纠错方式。

标签: UTF-16 数码开发

抱歉,评论功能暂时关闭!