信息技术中的分词器如何理解

tokenizer在中文中叫做分词器，就是将句子分成一个个小的词块(token),生成一个词表，并通过模型学习到更好的表示。其中词表的大小和token的长短是很关键的因素，两者需要进行权衡，token太长，则它的表示也能更容易学习到，相应的词表也会变小;token短了，词表就会变大，相应词矩阵变大，参数也会线性变多。所以token的粒度通常分为word和char，中文则对应为词级别和字级别;目前比较流行的是subword-子词级别，将词进一步分为有意义的子词，这在英文中比较常见(词根，词缀)，其中在transformers模型中常用的subword tokenizer有三种：BPE、WordPiece、SentencePiece。

StringTokenizer的实例有两种方式，这两种方式取决于returnDelims 标记位的值是true或false。

true

标记为true，那些分隔符字符本身即为标记。因此标记要么是一个分隔符字符，要么是那些连续字符(不是分隔符)的最大序列。

false

标记为false，则分隔符字符用来分隔标记。标记是连续字符(不是分隔符)的最大序列。

StringTokenizer类的对象在内部已经标识化的字符串中维持了当前位置。一些操作使得在现有位置上的字符串提前得到处理。 一个令牌的值是由获得其曾经创建StringTokenizer类对象的字串所返回的。

门禁控制器

门禁控制器工作在两种模式之下。一种是巡检模式，另一种是识别模式。在巡检模式下，控制器不断向读卡器发送查询代码，并接收读卡器的回复命令。这种模式会一直保持下去，直至读卡器感应到卡片。当读卡器感应到卡片后，读卡器对控制器的巡检命令产生不同的回复，在这个回复命令中，读卡器将读到的感应卡内码数据传送到门禁控制器，使门禁控制器进入到识别模式。在门禁控制器的识别模式下，门禁控制器分析感应卡内码，同设备内存储的卡片数据进行比对，并实施后续动作。门禁控制器完成接收数据的动作后，会发送命令回复读卡器，使读卡器恢复状态，同时，门禁控制器重新回到巡检模式