tokenizer分词_tokenizer分词器怎么部署到线上

这些算法称为Tokenizer分词器，这些Token会被进一步处理，比如转成小写等，这些处理算法被称为TokenFilter词元处理器，被。其中token为分词结果start_offset为起始偏移end_offset为结束偏移position为分词位置下面来看下S