UTF-8字节怎么得到：编码结果的获取方法

UTF-8 是 Unicode 最常用的存储编码，用 1–4 个字节表示一个字符：ASCII 字符 1 字节，拉丁字母扩展 2 字节，常用汉字 3 字节，emoji 等 4 字节。下面重点说明编码结果的获取方法。

UTF-8字节怎么得到

生成 UTF-8 文件：编辑器“另存为”选择 UTF-8（无 BOM）；程序中打开文件时显式指定 encoding="utf-8"，不要依赖系统默认编码（中文 Windows 默认是 GBK）。

"中".encode("utf-8")              # b'\xe4\xb8\xad'
b"\xe4\xb8\xad".decode("utf-8")   # '中'
len("123问".encode("utf-8"))      # 6
open("a.txt", encoding="utf-8")

示例

输入：https://www.123wen.cn/?q=测试

编码结果：

68 74 74 70 73 3A 2F 2F 77 77 77 2E 31 32 33 77 65 6E 2E 63 6E 2F 3F 71 3D E6 B5 8B E8 AF 95

说明：按 UTF-8 共 31 字节。

命令行示例

# 查看文件编码
file -i notes.txt
# GBK 转 UTF-8
iconv -f GBK -t UTF-8 in.txt > out.txt
# 查看字节
echo -n "中" | xxd     # e4b8 ad

中文的处理

常用汉字在 UTF-8 中都是 3 字节，首字节在 E4–E9 之间：“中”E4 B8 AD，“文”E6 96 87，“问”E9 97 AE。中文标点（，。“”）也是 3 字节。

本站的字符编码检测工具可以直接处理，计算在浏览器本地完成，适合快速核对结果。

常见问题

【什么是 BOM？】文件开头的 EF BB BF 三个字节，用来标记 UTF-8。网页和脚本文件建议不加。

【“中文”是什么乱码？】UTF-8 编码的“中文”被按 Latin-1/Windows-1252 解读的结果。

【UTF-8 能表示所有汉字吗？】能，包括所有 CJK 扩展区汉字。

文中示例可以在本站对应工具中验证；处理密码、证件号等敏感数据时，请注意保护隐私。

标签： 文本处理