第一章 名词解释[1]
【注】以下内容来自我好朋友日志,请参阅参考文献[1]
字、字符、字符集、字符集编码、字符集编码格式。下面我就尝试对这几个概念做个解释。
1、字
字是形而上的东西,也就是它没有具体的实物,它可能有音形义等外在表现。有些字没有音,如:“?”(“问号”只是“?”的名字,不是“?”的发音);有些字没有形,如:字符串结束符等不可显示字符,它们不可见,但有特殊的作用;有些字没义,这我就不能举例,只要一举例它就有义,但只要你不理它,所有的字都是没有义的,因为意由心生。
2、字符
字符(Character)是各种文字和符号的总称,包括各国家文字、标点符号、图形符号、数字等[2]。
表示字的符号就是字符(绝对是望文生意),即字的形。在生活中,我们常常把字符当成字,这是一种习惯,因为形而上的东西太难说清楚了,所以大家明白在说什么就够了,不用去深度挖掘它的概念,不然到最后怎么讲也讲不清了。
3、字符集
字符集就是多个字符的集合。因此你可以随便抓几个字符凑在一起,然后说这就是一个字符集。但在计算机世界里为了交流的目的,一定要用和别人相同的或者兼容的字符集,不然在电脑A中的字符在电脑B中找不到,就会有字符显示的问题。因此字符集要有标准,或者说规范、协议、约定等。
在国内常见的标准字符集有:ANSII、ISO-8859-1、GB2312、BIG5、CJK、GBK、GB18030、UCS、Unicode等。字符集之间有兼容性的问题,如果说字符集A兼容字符集B,那只有一种情况:A包含B中所有字符。在上面的字符当中,ASCII是最小的字符集,被其它字符集兼容。而UCS和Unicode几乎是最大的字符集,它们俩基本相互兼容,而其它所有字符集都是它们的子集。
4、字符集编码
计算机要准确的处理各种字符集文字,需要进行字符编码,以便计算机能够识别和存储各种文字。在一个字符集当中,字符的一个排列就应该可以说是一种编码(我猜的,没有人告诉我怎么定义,估且先这么说吧),每个字符的编码就是它在排列中的序号。为了交流的目的,一定要和别人使用相同的或者兼容的字符集编码,因此上述常见的字符集也各有相应编码标准。因为人们在制定这些字符集,同时也制定了相应的编码,所以现在基本上可将上述字符集都看成有序集。字符集编码之间同样有兼容问题,且只有大的字符集的编码才能兼容小的字符集的编码。如果说字符集A的编码兼容字符集B的编码,那首先是A兼容B,其次是B中所有字符在A和B中都有相同的编码。
5、字符集编码格式
对编码的表示方式就是编码格式。格式有两点作用,一是能够指出所表示的编码值;二是当不同字符的编码按这个格式表示成二进制编码并且连接成一个串时,它能够把这个串正确分开,还原成未连接前的状态。不同的格式也有兼容的问题,如果格式A兼容格式B,则按格式A的去看格式B的所有编码串,能解码得到相同的字符串。上述字符集的编码格式也有相应的规定。例如:ASCII字符集只有128个字符,所以只要7个比特就可以全部表示出来,因此ASCII格式用一个字节表示一个字符,最高位固定为0;ISO-8859-1有256个字符,因此ISO-8859-1格式用一个字节表示一个字符,而且兼容ASCII格式。其它的格式当中,GB2312格式兼容ASCII格式,GBK格式兼容GB2312格式,GB18030格式兼容GBK格式。还有一种使用较广的编码格式utf-8,它是Unicode字符集的编码格式,只兼容ASCII格式。国内常用GBK格式,因此utf-8格式和GBK格式的不兼容问题常给我们造成麻烦。幸好Unicode字符集兼容GBK字符集(但它们的编码不兼容),只要使用的字符不超过GBK字符集,我们就可以在两者之间做转换。
第二章
Unicode[3]
1、UCS(Universal
Character Set, 通用字符集)[4]
国际标准 ISO 10646 定义了通用字符集
(Universal Character Set, UCS). UCS 是所有其他字符集标准的一个超集.
它保证与其他字符集是双向兼容的. 就是说, 如果你将任何文本字符串翻译到 UCS格式, 然后再翻译回原编码, 你不会丢失任何信息.
Unicode 是基于通用字符集(Universal
Character Set)的标准来发展,并且同时也以书本的形式(The Unicode Standard,目前第五版由Addison-Wesley
Professional出版。ISBN-10:0321480910)对外发表。
2、Unicode 的编码和实现
大概来说,Unicode
编码系统可分为编码方式和实现方式两个层次。
2.1
编码方式
Unicode是国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。Unicode用数字0-0x10FFFF来映射这些字符,最多可以容纳1114112个字符,或者说有1114112个码位。码位就是可以分配给字符的数字。UTF-8、UTF-16、UTF-32都是将数字转换到程序数据的编码方案。
Unicode字符集可以简写为UCS(Unicode
Character Set)。早期的Unicode标准有UCS-2、UCS-4的说法。UCS-2用两个字节编码,UCS-4用4个字节编码。UCS-4根据最高位为0的最高字节分成2^7=128个group。每个group再根据次高字节分为256个平面(plane)。每个平面根据第3个字节分为256行
(row),每行有256个码位(cell)。group 0的平面0被称作BMP(Basic Multilingual
Plane)。将UCS-4的BMP去掉前面的两个零字节就得到了UCS-2。
每个平面有2^16=65536个码位。Unicode计划使用了17个平面,一共有17*65536=1114112个码位。在Unicode
5.0.0版本中,已定义的码位只有238605个,分布在平面0、平面1、平面2、平面14、平面15、平面16。其中平面15和平面16上只是定义了两个各占65534个码位的专用区(Private
Use
Area),分别是0xF0000-0xFFFFD和0x100000-0x10FFFD。所谓专用区,就是保留给大家放自定义字符的区域,可以简写为PUA。
平面0也有一个专用区:0xE000-0xF8FF,有6400个码位。平面0的0xD800-0xDFFF,共2048个码位,是一个被称作代理区(Surrogate)的特殊区域。代理区的目的用两个UTF-16字符表示BMP以外的字符。在介绍UTF-16编码时会介绍。
如前所述在Unicode
5.0.0版本中,238605-65534*2-6400-2408=99089。余下的99089个已定义码位分布在平面0、平面1、平面2和平面14上,它们对应着Unicode目前定义的99089个字符,其中包括71226个汉字。平面0、平面1、平面2和平面14上分别定义了52080、3419、43253和337个字符。平面2的43253个字符都是汉字。平面0上定义了27973个汉字。
2.2
实现方式
在Unicode中:汉字“字”对应的数字是23383。在Unicode中,我们有很多方式将数字23383表示成程序中的数据,包括:UTF-8、UTF-16、UTF-32。UTF是“UCS
Transformation
Format”的缩写,可以翻译成Unicode字符集转换格式,即怎样将Unicode定义的数字转换成程序数据。例如,“汉字”对应的数字是0x6c49和0x5b57,而编码的程序数据是:
BYTE data_utf8[] = {0xE6, 0xB1, 0x89, 0xE5, 0xAD, 0x97}; // UTF-8编码
WORD data_utf16[] = {0x6c49, 0x5b57}; // UTF-16编码
DWORD data_utf32[] = {0x6c49, 0x5b57}; // UTF-32编码
这里用BYTE、WORD、DWORD分别表示无符号8位整数,无符号16位整数和无符号32位整数。UTF-8、UTF-16、UTF-32分别以BYTE、WORD、DWORD作为编码单位。“汉字”的UTF-8编码需要6个字节。“汉字”的UTF-16编码需要两个WORD,大小是4个字节。“汉字”的UTF-32编码需要两个DWORD,大小是8个字节。根据字节序的不同,UTF-16可以被实现为UTF-16LE或UTF-16BE,UTF-32可以被实现为UTF-32LE或UTF-32BE。下面介绍UTF-8、UTF-16、UTF-32、字节序和BOM。
UTF-8
UTF-8以字节为单位对Unicode进行编码。从Unicode到UTF-8的编码方式如下:
Unicode编码(16进制) ║ UTF-8
字节流(二进制)
000000 -
00007F ║ 0xxxxxxx
000080 - 0007FF ║ 110xxxxx
10xxxxxx
000800 - 00FFFF ║ 1110xxxx
10xxxxxx 10xxxxxx
010000 - 10FFFF ║ 11110xxx
10xxxxxx 10xxxxxx 10xxxxxx
UTF-8的特点是对不同范围的字符使用不同长度的编码。对于0x00-0x7F之间的字符,UTF-8编码与ASCII编码完全相同。UTF-8编码的最大长度是4个字节。从上表可以看出,4字节模板有21个x,即可以容纳21位二进制数字。Unicode的最大码位0x10FFFF也只有21位。
例1:“汉”字的Unicode编码是0x6C49。0x6C49在0x0800-0xFFFF之间,使用用3字节模板了:1110xxxx
10xxxxxx 10xxxxxx。将0x6C49写成二进制是:0110 1100 0100 1001, 用这个比特流依次代替模板中的x,得到:11100110
10110001 10001001,即E6 B1 89。
例2:Unicode编码0x20C30在0x010000-0x10FFFF之间,使用用4字节模板了:11110xxx
10xxxxxx 10xxxxxx 10xxxxxx。将0x20C30写成21位二进制数字(不足21位就在前面补0):0 0010 0000 1100 0011
0000,用这个比特流依次代替模板中的x,得到:11110000 10100000 10110000 10110000,即F0 A0 B0
B0。
UTF-16
UTF-16编码以16位无符号整数为单位。我们把Unicode
unicode
编码记作U。编码规则如下:
如果U<0x10000,U的UTF-16编码就是U对应的16位无符号整数(为书写简便,下文将16位无符号整数记作WORD)。
如果U≥0x10000,我们先计算U'=U-0x10000,然后将U'写成二进制形式:yyyy
yyyy yyxx xxxx xxxx,U的UTF-16编码(二进制)就是:110110yyyyyyyyyy
110111xxxxxxxxxx。
为什么U'可以被写成20个二进制位?Unicode的最大码位是0x10ffff,减去0x10000后,U'的最大值是0xfffff,所以肯定可以用20个二进制位表示。例如:Unicode编码0x20C30,减去0x10000后,得到0x10C30,写成二进制是:0001
0000 1100 0011 0000。用前10位依次替代模板中的y,用后10位依次替代模板中的x,就得到:1101100001000011
1101110000110000,即0xD843 0xDC30。
按照上述规则,Unicode编码0x10000-0x10FFFF的UTF-16编码有两个WORD,第一个WORD的高6位是110110,第二个WORD的高6位是110111。可见,第一个WORD的取值范围(二进制)是11011000
00000000到11011011 11111111,即0xD800-0xDBFF。第二个WORD的取值范围(二进制)是11011100
00000000到11011111 11111111,即0xDC00-0xDFFF。
为了将一个WORD的UTF-16编码与两个WORD的UTF-16编码区分开来,Unicode编码的设计者将0xD800-0xDFFF保留下来,并称为代理区(Surrogate):
D800-DB7F ║ High
Surrogates ║ 高位替代
DB80-DBFF ║ High Private Use
Surrogates ║ 高位专用替代
DC00-DFFF ║ Low
Surrogates ║ 低位替代
高位替代就是指这个范围的码位是两个WORD的UTF-16编码的第一个WORD。低位替代就是指这个范围的码位是两个WORD的UTF-16编码的第二个WORD。那么,高位专用替代是什么意思?我们来解答这个问题,顺便看看怎么由UTF-16编码推导Unicode编码。
如果一个字符的UTF-16编码的第一个WORD在0xDB80到0xDBFF之间,那么它的Unicode编码在什么范围内?我们知道第二个WORD的取值范围是0xDC00-0xDFFF,所以这个字符的UTF-16编码范围应该是0xDB80
0xDC00到0xDBFF 0xDFFF。我们将这个范围写成二进制:
1101101110000000 11011100
00000000 - 1101101111111111 1101111111111111
按照编码的相反步骤,取出高低WORD的后10位,并拼在一起,得到
1110 0000 0000 0000 0000 -
1111 1111 1111 1111 1111
XML
即0xe0000-0xfffff,按照编码的相反步骤再加上0x10000,得到0xf0000-0x10ffff。这就是UTF-16编码的第一个WORD在0xdb80到0xdbff之间的Unicode编码范围,即平面15和平面16。因为Unicode标准将平面15和平面16都作为专用区,所以0xDB80到0xDBFF之间的保留码位被称作高位专用替代。
UTF-32
UTF-32编码以32位无符号整数为单位。Unicode的UTF-32编码就是其对应的32位无符号整数。
字节序
根据字节序的不同,UTF-16可以被实现为UTF-16LE或UTF-16BE,UTF-32可以被实现为UTF-32LE或UTF-32BE。例如:
Unicode编码 ║ UTF-16LE ║ UTF-16BE ║ UTF32-LE ║ UTF32-BE
0x006C49 ║ 49 6C ║ 6C 49 ║ 49
6C 00 00 ║ 00 00 6C 49
0x020C30 ║ 43 D8 30 DC ║ D8 43
DC 30 ║ 30 0C 02 00 ║ 00 02 0C 30
那么,怎么判断字节流的字节序呢?Unicode标准建议用BOM(Byte
Order
Mark)来区分字节序,即在传输字节流前,先传输被作为BOM的字符"零宽无中断空格"。这个字符的编码是FEFF,而反过来的FFFE(UTF-16)和FFFE0000(UTF-32)在Unicode中都是未定义的码位,不应该出现在实际传输中。下表是各种UTF编码的BOM:
UTF编码 ║ Byte Order
Mark
UTF-8 ║ EF BB BF
UTF-16LE ║ FF FE
UTF-16BE ║ FE FF
UTF-32LE ║ FF FE 00
00
UTF-32BE ║ 00 00 FE
FF
[1] 油头饼日志,http://user.qzone.qq.com/948509263/blog/1283446231
[2]字符集, http://baike.baidu.com/view/51987.htm
[3]Unicode, http://baike.baidu.com/view/40801.htm
[4]UCS, http://baike.baidu.com/view/935284.htm
相关推荐
主要介绍了java 使用 URLDecoder 和 URLEncoder 对中文字符进行编码和解码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
自己写的,可能有bug,请大家一块学习 环境为PB12 函数(及参数) 作用 arraysort 对一维数组进行排序 decto 将十进制数字转成其它进制字符串 ...urlencode 将指定字符串以进行指定字符集url编码 涨价了,哈哈
但是找遍了精易模块和百度都没有说有这这个命令 让Unicode字符串(易语言里面以字节集表示)直接进行正确的URL编码。所以就自己写了一个JavaScript脚本 进行URL编码。原理就是先把unicode字符串转换成BASE64编码文本。...
ios 对url中的特殊字符进行编码和反编码
LoadRunner中转换字符串到URL编码C代码及转换工具
URL中编码URL特殊字符 URL中编码URL特殊字符 URL中编码URL特殊字符 URL中编码URL特殊字符 URL中编码URL特殊字符
目录 网址URL中特殊字符转义编码URL特殊字符转义,URL中一些字符的特殊含义,基本编码规则如下:如果需要在URL中用到,需要将这些特殊字符换成相应的十六进制的值预备知识 为什么需要Url编码 哪些字符需要编码 US...
使用这个库可以很方便的编码解码URLCode。里面带了ESP8266看门狗开关,可以在调用这个库之前宏定义ESP8266就可以开启库的看门狗设置。避免触发看门狗。建议配合我主页的教程一起食用。哪怕是小白也可以轻松使用。
二进制,十六进制,Base64, URL编码,字符编码,反查工具
自动判断URL编码的方法。URL中包含编码的中文的时候,程序获取queryString需要根据url的不同编码,采用不同的解码方式,RequestQueryString方法能够自动识别url是用UTF-8编码还是GB2312编码,从而自动获取争取的值。...
对字符串进行URL编码 实测可用
Delphi url 编码及转码及特殊字符串替换--百度和腾讯用的就是这个.mht
利用JS把URL地址栏%20、%55之类编码转成中文字符!
但是找遍了精易模块和百度都没有说有这这个命令 让Unicode字符串(易语言里面以字节集表示)直接进行正确的URL编码 所以就自己写了一个JavaScript脚本 进行URL编码 原理就是先把unicode字符串转换成BASE64编码文本 ...
为了避免浏览器采用了我们不希望的编码,所以最好不要在URL中直接使用非ASCII字符,而采用URL Encode编码过的字符串%. 比如: URL: http://localhost:8080/example/中国?name=中国 建议: URL: ...
目前大部分的网站,都是使用的UTF-8编码。例如发送一段二进制到服务器时,服务器规定该二进制内容的编码...附件是GB18030包含的21004个汉字的GB18030编码、Unicode编码、URL编码对照表,可用于解决中文乱码转换恢复。
在URL传递参数中,有一些特殊字符,而这些些符号在URL中是不能直接传递的,如果要在URL中传递这些特殊符号,那么就要使用他们的编码了。下表中列出了一些URL特殊符号及编码十六进制值 1. + URL 中+号表示空格 + 2. ...
虽然escape()、encodeURI()、encodeURIComponent()三种方法都能对一些影响URL完整性的特殊 字符进行过滤。但后两者是将字符串转换为UTF-8的方式来传输,解决了页面编码不一至导致的乱码问 题。例如:发送页与接受页...
字符集编码查询/反查工具