unicode字符过滤

1. 鎬庝箞鍘绘帀鍚鏈塽nicode鐨勫瓧绗

鍘绘帀鍚鏈塽nicode鐨勫瓧绗﹀彲浠ヤ娇鐢ㄧ紪绋嬭瑷涓鐨勫瓧绗︿覆澶勭悊鍑芥暟鎴栨ｅ垯琛ㄨ揪寮忚繘琛岃繃婊ゅ拰鏇挎崲鎿嶄綔銆倁nicode鏄涓绉嶅瓧绗︾紪鐮佹爣鍑嗭紝瀹冨寘鍚浜嗕笘鐣屼笂鍑犱箮鎵鏈夌殑瀛楃︼紝鍖呮嫭鍚勭嶈瑷鐨勫瓧姣嶃佹爣鐐圭﹀彿銆佺﹀彿銆佽〃鎯呯﹀彿绛夈傛湁鏃跺欙紝鎴戜滑鍙鑳介渶瑕佷粠鏂囨湰涓鍘绘帀鍖呭惈unicode瀛楃︾殑閮ㄥ垎锛屽彲浠ラ氳繃浠ヤ笅姝ラよ繘琛屾搷浣滐細
1銆佷娇鐢ㄧ紪绋嬭瑷涓鐨勫瓧绗︿覆澶勭悊鍑芥暟锛氬ぇ澶氭暟缂栫▼璇瑷閮芥彁渚涗簡澶勭悊瀛楃︿覆鐨勫嚱鏁帮紝姣斿侾ython鐨剅eplace()銆丣avaScript鐨剅eplace()绛夈備綘鍙浠ヤ娇鐢ㄨ繖浜涘嚱鏁版潵鏌ユ壘骞舵浛鎹㈠寘鍚玼nicode瀛楃︾殑閮ㄥ垎銆備緥濡傦紝鍙浠ヤ娇鐢╮eplace()鍑芥暟灏嗘枃鏈涓鐨剈nicode瀛楃︽浛鎹涓虹┖瀛楃︿覆锛屽疄鐜板幓闄ゆ搷浣溿
2銆佷娇鐢ㄦｅ垯琛ㄨ揪寮忚繘琛岃繃婊ゅ拰鏇挎崲锛氭ｅ垯琛ㄨ揪寮忔槸涓绉嶅己澶х殑妯″紡鍖归厤宸ュ叿锛屽彲浠ュ府鍔╂垜浠鏇寸伒娲诲湴杩涜屽瓧绗︿覆澶勭悊銆傚彲浠ヤ娇鐢ㄦｅ垯琛ㄨ揪寮忔潵鍖归厤鍖呭惈unicode瀛楃︾殑閮ㄥ垎锛屽苟灏嗗叾鏇挎崲涓虹┖瀛楃︿覆鎴栧叾浠栧瓧绗︺備笉鍚岀殑缂栫▼璇瑷瀵规ｅ垯琛ㄨ揪寮忕殑鏀鎸佺▼搴﹀拰璇娉曟湁鎵涓嶅悓锛屽彲浠ユ牴鎹鍏蜂綋鐨勭紪绋嬭瑷鏂囨。鏉ュ︿範鍜屼娇鐢ㄦｅ垯琛ㄨ揪寮忋

2. 如何避免fastjson对于unicode码的\uxxxx格式中\进行特殊字符过滤

System.out.println(JSON.toJSONString(1", SerializerFeature.BrowserCompatible));
System.out.println(JSON.toJSONString("\u4E2D\u56FD", SerializerFeature.BrowserCompatible));

3. php中数据过滤的问题

我来解释一下吧
preg_replace('/[\\x00-\\x08\\x0B\\x0C\\x0E-\\x1F]/','',$string);

去掉控制字符，你google一下ascii table就知道了，php里面 - 代表范围，比如\x00-\x08指的是ASCII代码在\x00到\x08范围的字符，\x0A和\x0D代表回车换行，所以没包含在这个里面，否则直接\x00-\x1F了，

$string = str_replace(array("\0","%00","\r"),'',$string);
\0表示ASCII 0x00的字符，通常作为字符串结束标志

$string = preg_replace("/&(?!(#[0-9]+|[a-z]+);)/si",'&',$string);

我们知道HTML里面可以用&#xxx;来对一些字符进行编码，比如 (空格), ߷ Unicode字符等，A(?!B) 表示的是A后面不是B,所以作者想保留 ߷类似的 HTML编码字符，去掉其他的问题字符，比如 &123; &#nbsp;

str_replace(array("%3C",'<'),'<',$string);

第一个'<'多余吧，%3C是编码以后的 <, 一般用在URL编码里

str_replace(array("%3E",'>'),'>',$string);

str_replace(array('"',"'","\t",' '),array('"',"'",'',''),$string);

略过

有问题再追问

4. 一串英文字符中的不可见字符如何过滤掉

Excel 使用CLEAN清除不可见字符或符号。

CLEAN 函数说明

删除文本中不能打印的字符。对从其他应用程序中输入的文本使用 CLEAN 函数，将删除其中含有的当前操作系统无法打印的字符。例如，可以删除通常出现在数据文件头部或尾部、无法打印的低级计算机代码。

重要 CLEAN 函数被设计为删除文本中 7 位 ASCII 码的前 32 个非打印字符（值为 0 到 31）。在 Unicode中，有附加的非打印字符（值为 127、129、141、143、144 和 157）。CLEAN 函数自身不删除这些附加的非打印字符。有关如何从文本中删除这些附加的非打印字符的示例，请参阅删除文本中的空格和非打印字符。

5. 杩欐槸浠涔堜唬鐮侊紵

杩欑嶇紪鐮佹槸html鎴杧ml涓鏍囧噯鐨勫箄nicode瀛楃︾殑杞涔夊啓娉曘
鎵涓锯樹贡鐮佲欑殑纭鏄痷nicode缂栫爜鐨勫瓧绗︽枃鏈
鐧惧害鎼滅储鏃剁湅鍒扮殑鎯呭喌鏄鐖铏閲囬泦鐨勬暟鎹锛屽彲鑳借繃婊ゆ帀鍏朵腑鐨"#"瀛楃︼紝
鐪嬬綉椤垫簮鐮佸彲浠ュ彂鐜帮紝鏁版嵁浠嶆槸[&#X鏁板瓧]杩欑嶅舰寮忎繚瀛樼殑銆
X浠ｈ〃hex鍗佸叚杩涘埗
4浣嶇殑鏁板瓧浠ｈ〃unicode鐨勭爜浣嶅笺

鍏跺唴瀹瑰拰鎵撳紑鐨勯〉闈涓鑷达紝浠嬬粛鍖荤枟鏂归潰鐨勩