Token 到底是什么？

不是字、不是词、不是字节，是 AI 处理文本的最小单位

一个常用结论

「哈哈哈」= 1 个 Token，而「人工智能」= 2 个 Token。
同样是 500 个字，中文可能切出 700~800 个 Token。

1 Token 是怎么工作的

打开 GPT 或 Claude 输入文字，AI 第一批动作不是读文字，而是先切词：把整句拆成一个个 Token，再逐个处理、逐个回答。你看到的只是打字和回复，幕后全是 Token 在流转。

「今天天气真好」今天 | 天气 | 真好或切成今天 | 天 | 气真 | 好

切法没有绝对标准，各家模型有各自的基于训练数据学出来的切分模式。

2 为什么中文更「费」Token

底层分词器主要服务英文。英文常用短词基本一个词占一个 Token，而中文每一个字大约要占 1~2 个 Token。

你好约 2~3 个 Token

Hello仅 1 个 Token

同样表达一句话，中文花的 Token 通常更多，这就是「中文吃亏」的真相。

3 两个有趣的特例

哈哈哈 —— 在互联网上出现频率太高，AI 训练时见过无数次，直接当成一个整体；就像你不会把「哈哈」拆成两个「哈」。

人工智能 —— 反而是两个 Token，因为「人工」和「智能」各自有独立的高频含义。

4 Token 就是钱

和 AI 对话的花费按 Token 计价，不是字数。

你说的话 → 转成 Token 扣一笔 → AI 的回答再扣一笔

把 PDF 丢给 AI 总结，文档里的每一个字都先变成 Token 收费；生成的回答再收一笔。现在大模型公司基本都是靠这个模式盈利。

5 Context Window：房间比喻

两个概念要分清：

房费 = 你花的 Token

房间大小 = Context Window（上下文窗口）

把对话、文档、指令全塞进房间，房间一旦塞满，最早进来的东西就会被挤走。所以 AI 聊到后面会「失忆」——不是笨，是新的把旧的挤走了。

AI 乱编，多一半是你没管理好房间。
把无关紧要的信息都塞进去，重要信息被挤出去，AI 只能靠编——不是 AI 的错，是你没了解机制。

6 Context 并非越大越好

不同模型上下文窗口从 20 万到 200 万 Token 不同，但房间越大，塞进去的东西越多，找一张纸条反而越难。AI 的信息密度被稀释，答案质量可能不升反降。

关键不是大，而是会用。

7 同文不同价，选模型要看中文友好度

实测：同样一段约 500 字的中文，Claude（cloud）和 Code（co）的 Token 消耗相差近一倍。

Claude

中文切得碎
Token 花得多

Code

中文切得省
Token 花得少

因此高频使用或自己搭应用时，不只看模型聪不聪明，还要看它对中文友不友好——中文切得越好，Token 越省，钱越省。

Token 是 AI 的数字粮食，计价、付费、记忆持久全看它；
中文天然贵一点，但选对模型、管好窗口，能省不少。

CuteNote.app 颜值笔记生成