UTF-8 是 Unicode 最常用的存储编码,用 1–4 个字节表示一个字符:ASCII 字符 1 字节,拉丁字母扩展 2 字节,常用汉字 3 字节,emoji 等 4 字节。下面重点说明网页工具操作与核对。
UTF-8在线计算步骤
本站的字符编码检测工具可以直接处理,计算在浏览器本地完成,适合快速核对结果。
- 用本站字符编码检测工具粘贴文本或上传文件,查看识别出的编码
- 乱码时对比 UTF-8 与 GBK 两种解读结果
- 确认后在编辑器中以 UTF-8(无 BOM)重新保存
校验是否为合法 UTF-8:Python 尝试 decode("utf-8"),Go 用 utf8.Valid,命令行用 iconv -f UTF-8 -t UTF-8 file > /dev/null,报错即说明有非法字节。
示例
输入:Man
编码结果:4D 61 6E
说明:按 UTF-8 共 3 字节。
与相关技术的区别
UTF-8 与 GBK:UTF-8 覆盖全部 Unicode,汉字 3 字节;GBK 只覆盖简繁汉字和部分符号,汉字 2 字节,但不能表示 emoji 和多数外文。UTF-8 与 UTF-16:UTF-16 中 BMP 字符 2 字节,适合内存中处理(Java、JavaScript、Windows 内部),但不兼容 ASCII。
JavaScript 示例
下面是 JavaScript 中处理UTF-8的常用写法:
new TextEncoder().encode("中"); // Uint8Array [228, 184, 173]
new TextDecoder("utf-8").decode(bytes);
// Node.js
Buffer.byteLength("123问", "utf8"); // 6运行前确认输入的字符集(推荐 UTF-8),结果可以用本站工具交叉核对。
常见问题
【“䏿–‡”是什么乱码?】UTF-8 编码的“中文”被按 Latin-1/Windows-1252 解读的结果。
【UTF-8 能表示所有汉字吗?】能,包括所有 CJK 扩展区汉字。
【一个汉字在 UTF-8 中占几个字节?】常用汉字 3 个字节;扩展 B 区及以后的生僻字 4 个字节。
文中示例可以在本站对应工具中验证;处理密码、证件号等敏感数据时,请注意保护隐私。
标签: 文本处理