含生僻字中文校验方式优化_java判断字符串中是否包含生僻字-CSDN博客

安宇雨 - 随手采集
2024-12-09 15:47:07
随手采集
0000-未整理-等待研究

项目姓名校验原本一直是通过utf8正则进行校验，但近期出现的客户生僻字包含双码字，原有校验方式无法实现。需要修改扩大校验范围。

知识点回顾：
Unicode是Unicode Standard（Unicode标准）的简写；Unicode为每一字符提供一个数字编号，通俗讲，就是字符集（coded charset）；U+[XX]XXXX是码点的表示形式，X代表一个十六制数字，可以有4-6个，不足4个前补0补足4个。示例：U+0048，U+4F60，U+1D11E。最后一个是5个16进制数的码点。取值范围：U+0000~U+10FFFF（10FFFF+1=1114112，一般记为111万左右），也就是Unicode可以支持111万个字符；
Unicode平面
码点的全部范围可以均分成17个65536大小的部分，这里面的每一个部分就是一个平面（Plane），其实就是不同的取值范围。编号从0开始，第一个平面称为Plane 0.第一个平面即是BMP（Basic Multilingual Plane 基本多语言平面），也叫Plane 0，它的码点范围是U+0000~U+FFFF。这也是我们最常用的平面，日常用到的字符绝大多数都落在这个平面内。
CJK统一汉字
在Unicode中，称为CJK统一汉字（CJK：Chinese, Japanese, and Korean，中日韩）。位于平面0；可以在word里面查询到CJK对应的Unicode编码.

问题调研：
使用正则表达式[\u4E00-\u9FA5]来匹配中文的问题在哪？
这一段大小不过是两万多一点，\u4E00-\u9FA5（19968-40869，4E00就是“一“字。），严格来说这只是Unicode最主要的一段中文区域。不过对于绝大数情况够用了。

而本次涉及的生僻字，\uD852\uDFE5，由两个unicode码点组成，以原有方式单一匹配无法实现校验。这类生僻字字符其实被称为增补字符，Unicode本身码空间为U+0000到U+10FFFF，一共1114112个码位，U+10000及以上的字符称为增补字符。在Java中（Java1.5之后），增补字符使用两个char型变量来表示。第一个char型变量的范围称为“高代理部分”（high-surrogates range,从"uD800到"uDBFF，共1024个码位）, 第二个char型变量的范围称为low-surrogates range（从"uDC00到"uDFFF，共1024个码位），这样使用surrogate pair可以表示的字符数一共是1024的平方计1048576个，加上BMP的65536个码位，去掉2048个非法的码位，正好是1,112,064个码位。

java本身对其编译和传输其实是支持的，java语言规定的内码是UTF-16编码，也就是JVM中使用的其实是UTF16，外码是UTF-8。只是在编译.class文件编码为modified UTF-8，运行期又解码为UTF16，所以我们无感知。

UTF-16表示的增补字符怎样才能被正确的识别为增补字符，而不是两个普通的字符呢？答案是通过看它的第一个char是不是在高代理范围内，第二个char是不是在低代理范围内来决定，这也意味着，高代理和低代理所占的共2048个码位（从0xD800到0xDFFF）是不能分配给其他字符的。所以只要拆分开字符的两个码点，分别校验即可。

实现方式：

在Java中，主要使用 Character类处理字符有关功能，而JDK 1.7中Character是按照Unicode 6.0版本实现的。其中的UnicodeBlock 和 UnicodeScript类可以帮助我们判断字符类型。一个 UnicodeBlock代表一片连续的Unicode号码段，UnicodeBlock之间不重叠。有一个UnicodeBlock 专门划分为存储汉字 (准确的说是 CJK统一汉字)，这个UnicodeBlock叫做 CJK Unified Ideographs，总共定义了 74,617 个汉字。

jdk中Character.UnicodeBlock类包含了多个unicode号码段的常量定义，和三个类方法

Sr.No. 方法和描述
1 static Character.UnicodeBlock forName（String blockName）
此方法返回具有给定名称的UnicodeBlock。
2 static（char c）的静态Character.UnicodeBlock
此方法返回表示包含给定字符的Unicode块的对象，如果该字符不是已定义块的成员，则返回null。
3 静态Character.UnicodeBlock（int codePoint）
此方法返回表示包含给定字符（Unicode代码点）的Unicode块的对象，如果该字符不是已定义块的成员，则返回null。

本次涉及到的生僻字，我们使用到的姓名校验优化(包含生僻字)
原方案：在这里插入图片描述
CJK编码校验方案：