Unicode编码速查表

liuzw 28 0

「Unicode编码速查表」真有那么复杂吗?其实剥开术语外壳,核心就一两句话能讲明白。下面我尽量用大白话把它说透。

别急着算,先搞懂「Unicode编码速查表」的概念

Base64是把二进制数据用64个可打印字符(A-Z a-z 0-9 + /)表示的编码方式,3字节原文编码成4字节Base64,末尾不足补=。常用于邮件附件、图片内嵌、API传参。它是编码不是加密,任何人都能解码,别用来藏敏感信息。大文件别一次性读进内存,用流式处理或逐行读取,否则容易OOM。编码转换先确认源编码,盲目转只会越转越乱。

原理拆开看

编码后体积增大约1/3(3字节→4字节)。中文Base64需先转UTF-8字节流再编码,否则乱码。URL中+和/有特殊含义,要用URL Safe Base64(把+换-、/换_)。中文用mb_系列函数处理,旧函数容易截断半个汉字出乱码。编码问题九成是UTF-8和GBK没统一,全链路统一UTF-8能解决一大半乱码。

真实场景演示

先搞清概念。Unicode编码速查表这类文本操作,本质是对字符串按某种规则转换或分析。搞懂规则(编码标准、正则语法、格式规范),操作就有章法;规则没吃透,照着抄都会出错。字符串操作要考虑多字节字符,中文一个字不等于一个字节。哈希和加密是两码事,前者不可逆后者可逆,别混着用。

几个要注意的地方

有几个细节不显眼但很要命:

  • Base64是编码不是加密,任何人都能解码,别用来藏敏感信息
  • 编码后体积增大约1/3(3字节→4字节),不适合存大文件
  • URL中+和/有特殊含义,必须用URL Safe Base64
  • 中文Base64需先转UTF-8字节流再编码,直接编码会乱码

要是觉得这篇有用,转给同样被「Unicode编码速查表」绕晕的朋友。少一个人踩坑,就值了。

哈希和加密是两码事,前者不可逆后者可逆,别混着用。编码问题九成是UTF-8和GBK没统一,全链路统一UTF-8能解决一大半乱码。特殊字符在该转义的地方一定要转义,否则解析失败或被注入。字符串操作要考虑多字节字符,中文一个字不等于一个字节。大文件别一次性读进内存,用流式处理或逐行读取,否则容易OOM。写完正则或解析逻辑,一定用边界案例测:空串、超长、特殊字符、Unicode。

常见问题

【Base64编码后体积变大多少?】增大约1/3,因为3字节原文编码成4字节Base64。所以Base64不适合存大文件,传输图片虽方便但流量增加。末尾不足3字节用=补齐。

【Base64能用来加密吗?】不能。Base64是编码不是加密,任何人都能解码,别用来藏密码等敏感信息。要加密用AES/RSA等算法,Base64只是让二进制数据能在文本环境传输。

【Unicode编码速查表是什么意思?】属于文本处理范畴,是对字符串按特定规则转换或分析的操作。具体含义要看场景,但核心都是让文本数据能在不同环境正确表示和使用。

【Base64是什么?有什么用?】用64个可打印字符表示二进制数据的编码,3字节原文编成4字节。常用于邮件附件、图片内嵌HTML、API传参。它是编码不是加密,能被任何人解码。

标签: 编码 文本处理

抱歉,评论功能暂时关闭!