tokenizer怎么用_tokenizertokenize

stringtokenizer类允许应用程序将字符串分解为标记tokenization方法比StreamTokenizer类所使用的方法更简单StringTokenizer方法不区分标识符数和带引号的字符串，它们也不识别并跳过注释可以在创建时指定，也可以根据每个标记来指定分隔符分隔标记的