大模型 Token 分词机制科普综述：BPE 的代价与替代方案

一篇科普综述剖析了大模型底层的分词机制：模型读到的不是字母，而是分词器生成的数字编号字块，因此无法准确数清字母 r。文章指出 BPE 算法靠反复合并高频字符对来压缩文本，代价是算术与字符分析能力缺陷、低资源语言成本上升，以及冷门字块带来的安全漏洞。学界正探索直接读字节、动态切分和视觉化文字等替代方案，但替换现有分词地基的训练与评测成本很高。