NLP on Rooted & Risinghttps://tonlp.fun/tags/nlp/Recent content from Rooted & RisingHugozh-cnwhq2020@outlook.com (HuanQ)whq2020@outlook.com (HuanQ)本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！Mon, 26 Jan 2026 20:50:39 +0800BPE 与字节级 Tokenizer：从合并规则到可运行实现https://tonlp.fun/post/bpe/Mon, 26 Jan 2026 20:50:39 +0800whq2020@outlook.com (HuanQ)https://tonlp.fun/post/bpe/ BPE 与字节级 Tokenizer：从合并规则到可运行实现

作者：HuanQ（whq2020@outlook.com）

系统梳理 BPE 的训练与推理：为什么需要正则预分词与前导空格、为什么主流实现选择字节级词表、Byte Fallback 的含义，以及 merges/rank 在推理时如何生效；文末提供一份可直接运行的 Python 参考实现。

本文2026-01-26首发于Rooted & Rising，最后修改于2026-01-26

]]>深度学习LLM