【AI黑话日日新】什么是token？

最近AI圈有个很火的梗：Token应该翻译成“新智元”。玩梗归玩梗，很多刚接触大模型的朋友还是一脸懵：Token到底是什么？是登录用的令牌？是区块链代币？还是AI圈的新黑话？

这篇博客就用纯入门、零门槛、接地气的方式，把Token讲透，看完你就能彻底理解这个大模型最基础的核心概念。

一、先辟谣：Token≠新智元，翻译只是玩笑

首先澄清：

• “新智元”是AI圈玩梗的趣味翻译，并非标准译名；
• 目前行业主流译法：词元，也有部分机构叫智元；
• 它的本质和“品牌”“新造词”无关，就是大模型处理文本的最小单元。

你可以把Token理解为：AI眼里的“文字积木”。

二、一句话核心定义

Token是大语言模型理解、处理、生成人类语言的最小语义单元。

大模型本质是做矩阵运算，不直接认识汉字、英文、符号，必须把文字拆成一个个标准化的小片段，再转成数字向量——这个小片段，就是Token。

它不是字、不是词，