tokenizers_tokenizer什么意思

如果你的txt里的句号是统一的，也就是说，如果用号的话，就是所有的都是号，如果用的是号，就都是的话，你这应该是比较好做的吧先检测如果有号，就用分割，如果有号就用分割如果是混合的，就是有号。