Token(令牌)
打个比方:你去游戏厅玩,一块钱能买一枚代币。你拿代币投进机器才能玩。Token 就是 AI 世界的"游戏代币"——每一个 Token 是 AI 能"读"或"写"的最小单位。
Token 到底怎么算
把 AI 想象成一个不怎么认识字的小孩子,他阅读的方式是把文字拆成他能理解的碎片:
- "apple" → 这个小孩认成一个碎片(1 个 Token)。
- "unbelievable" → 他拆成 "un" + "believe" + "able" 三个碎片(3 个 Token)。
- "你好世界" → 中文字拆得细,每个字可能要 1-2 个碎片,所以短句也消耗不少 Token。
为什么你要关心 Token
想象你每次用 AI 都像是在打车(按里程计费)加上在快递柜里存东西(按格口计费):
- 你说的每句话(输入)和AI 回的每句话(输出)都要消耗 Token,就像出租车每公里计费。输出通常比输入更贵,就像返程空驶还要收费。
- Token 有额度上限:就像快递柜只有固定数量的格子(比如 20 万个格子),存满了就不能再放了。打长文档给 AI 之前,如果文件太大,它就只能看到前面,后面的"溢出"就看不到了。
- Agent 的中间步骤也要花钱:就像你请人装修——不只是最后交付要算钱,他中间去买材料、跑建材市场的路程也算在计价器里。Agent 的每次工具调用(读文件、搜代码)都消耗 Token。
省钱省 Tokens 的技巧
把大文件想象成一整个西瓜——别直接往快递柜里塞。先切成小块,只寄最相关的那几块。善用摘要功能,先让 AI 读一遍然后跟你说重点,再基于重点提问。