搞清字符编码:核心方法与实操注意事项

liuzw 38 0

前阵子我妈打电话问我「字符编码」,说小区群里吵翻天了。我让她把群里说法截个图过来,好家伙,五个人五种答案,没一个对的。

来龙去脉

Base64是把二进制数据用64个可打印字符(A-Z a-z 0-9 + /)表示的编码方式,3字节原文编码成4字节Base64,末尾不足补=。常用于邮件附件、图片内嵌、API传参。它是编码不是加密,任何人都能解码,别用来藏敏感信息。编码问题九成是UTF-8和GBK没统一,全链路统一UTF-8能解决一大半乱码。编码转换先确认源编码,盲目转只会越转越乱。

核心要点拆解

编码后体积增大约1/3(3字节→4字节)。中文Base64需先转UTF-8字节流再编码,否则乱码。URL中+和/有特殊含义,要用URL Safe Base64(把+换-、/换_)。哈希和加密是两码事,前者不可逆后者可逆,别混着用。能用成熟库就别自己造轮子,特别是编码、加密、解析这种容易出错的领域。

接着说实操

先搞清概念。字符编码这类文本操作,本质是对字符串按某种规则转换或分析。搞懂规则(编码标准、正则语法、格式规范),操作就有章法;规则没吃透,照着抄都会出错。字符串操作要考虑多字节字符,中文一个字不等于一个字节。大文件别一次性读进内存,用流式处理或逐行读取,否则容易OOM。

延伸阅读

再说方法。文本处理最忌讳"想当然"——以为编码是A实际是B、以为分隔符是逗号实际是制表符。处理前先确认字符编码(UTF-8还是GBK)、数据格式、边界情况,再用对应工具转换。能用现成库别自己造轮子。数据格式(JSON/XML/CSV)要先确认再解析,猜格式必出错。特殊字符在该转义的地方一定要转义,否则解析失败或被注入。

几个要注意的地方

有几个细节不显眼但很要命:

  • Base64是编码不是加密,任何人都能解码,别用来藏敏感信息
  • 编码后体积增大约1/3(3字节→4字节),不适合存大文件
  • URL中+和/有特殊含义,必须用URL Safe Base64
  • 中文Base64需先转UTF-8字节流再编码,直接编码会乱码

别光看,拿个真实数据算一遍。看十遍不如自己算一遍,这话放哪儿都成立。

常见问题

【字符编码是什么意思?】属于文本处理范畴,是对字符串按特定规则转换或分析的操作。具体含义要看场景,但核心都是让文本数据能在不同环境正确表示和使用。

【Base64是什么?有什么用?】用64个可打印字符表示二进制数据的编码,3字节原文编成4字节。常用于邮件附件、图片内嵌HTML、API传参。它是编码不是加密,能被任何人解码。

【Base64编码后体积变大多少?】增大约1/3,因为3字节原文编码成4字节Base64。所以Base64不适合存大文件,传输图片虽方便但流量增加。末尾不足3字节用=补齐。

【Base64能用来加密吗?】不能。Base64是编码不是加密,任何人都能解码,别用来藏密码等敏感信息。要加密用AES/RSA等算法,Base64只是让二进制数据能在文本环境传输。

标签: 编码 文本处理

抱歉,评论功能暂时关闭!