UTF-8 是 Unicode 最常用的存储编码,用 1–4 个字节表示一个字符:ASCII 字符 1 字节,拉丁字母扩展 2 字节,常用汉字 3 字节,emoji 等 4 字节。下面重点说明中英文与符号示例。
UTF-8常用字符的处理结果
| 输入 | 编码结果 |
|---|---|
| 123问 | 31 32 33 E9 97 AE |
| 中文 | E4 B8 AD E6 96 87 |
| 你好,世界 | E4 BD A0 E5 A5 BD EF BC 8C E4 B8 96 E7 95 8C |
| a+b=c | 61 2B 62 3D 63 |
| <b>粗体</b> | 3C 62 3E E7 B2 97 E4 BD 93 3C 2F 62 3E |
| I ♥ Unicode | 49 20 E2 99 A5 20 55 6E 69 63 6F 64 65 |
命令行示例
# 查看文件编码
file -i notes.txt
# GBK 转 UTF-8
iconv -f GBK -t UTF-8 in.txt > out.txt
# 查看字节
echo -n "中" | xxd # e4b8 ad
乱码排查
UTF-8 乱码的典型样子:“䏿–‡”是 UTF-8 被当作 Latin-1;“涓枃”是 UTF-8 被当作 GBK;“锟斤拷”是 GBK 显示的替换字符;“���”是无法解码的字节。根据样子判断是哪一步解码用错了字符集。
本站的字符编码检测工具可以直接处理,计算在浏览器本地完成,适合快速核对结果。
常见问题
【什么是 BOM?】文件开头的 EF BB BF 三个字节,用来标记 UTF-8。网页和脚本文件建议不加。
【“䏿–‡”是什么乱码?】UTF-8 编码的“中文”被按 Latin-1/Windows-1252 解读的结果。
【UTF-8 能表示所有汉字吗?】能,包括所有 CJK 扩展区汉字。
文中示例可以在本站对应工具中验证;处理密码、证件号等敏感数据时,请注意保护隐私。
版权声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。