什麼是 AI Token？你每天其實都在「燒」它

為什麼 AI 模型不直接讀取文字？本文深入淺出解釋 Token 的定義、分詞機制，以及它如何影響你的模型效能與使用預算。

在進入生成式 AI 的世界時，你一定常聽到「上下文視窗（Context Window）」或「Token 限制」。對於人類來說，語言的基本單位是單字或字元；但對大型語言模型（LLM）而言，世界的組成單位是 Token。

理解 Token，是掌握 AI 成本控制與 Prompt Engineering 的第一步。

1. 什麼是 Token？

簡單來說，Token 是 AI 處理語言的「最小碎片」。

AI 模型本質上是一台巨大的數值運算機器，它無法直接理解「蘋果」或 “Apple” 這些抽象的文字符號。因此，在文字進入模型之前，必須先經過一個稱為 Tokenization（分詞） 的過程，將句子切碎成模型可識別的數位區塊。

• 英文： 一個 Token 通常約等於 0.75 個單字（或者說是單字的一部分）。
• 中文： 情況較複雜，一個繁體中文字可能佔用 1 到 3 個 Token，視分詞器（Tokenizer）的設計而定。

2. Token 的運作機制：從文字到向量

AI 處理文字的流程可以簡化為以下三個步驟：

1. 分詞 (Tokenization)： 將「我愛學習 AI」切分為「我 / 愛 / 學 / 習 / AI」。
2. 轉換 ID (Mapping)： 每個 Token 會對應到詞表（Vocabulary）中的一個索引數字。
3. 向量化 (Embedding)： 模型將數位 ID 轉換為多維空間中的數學向量，藉此理解詞彙間的語意關聯。

為什麼不直接用「字元」或「單字」？

• 字元 (Character)： 太過破碎，模型難以學習語意。
• 單字 (Word)： 詞彙量爆炸（例如 “run”, “running”, “ran” 都被視為不同字），會導致模型過於龐大。
• Token (Sub-word)： 取其折衷，能平衡詞表大小與語意理解能力。

3. 為什麼你該在意 Token？

在實際應用中，Token 直接影響了兩個核心維度：

A. 你的錢包（成本控制）

目前主流的 API 供應商（如 OpenAI, Anthropic, Google Cloud）大多是以 每百萬 Token (Per 1M Tokens) 作為計費標準。這包含：

• 輸入 (Input)： 你餵給 AI 的 Prompt。
• 輸出 (Output)： AI 回覆你的內容。

B. AI 的記憶力（上下文視窗）

每個模型都有其「上下文視窗」限制（例如 128k Tokens）。一旦你的對話內容、上傳的文件超過這個額度，模型就會開始「忘記」最前面的資訊，甚至無法處理你的請求。

4. 實用小撇步：如何節省 Token？

1. 精簡 Prompt： 刪除不必要的贅詞，直擊重點。
2. 結構化資料： 使用 JSON 或 Markdown 格式有助於模型理解，有時比冗長的敘述更省 Token。
3. 選擇合適的模型： 針對簡單任務（如格式轉換），使用 Token 單價更低的小型模型（如 Flash 版本）。

結論

Token 是人類語言與機器數學之間的橋樑。掌握了 Token 的概念，你就不再只是在「跟機器聊天」，而是能更專業地評估 AI 專案的成本 與 資訊處理的邊界。

想知道如何計算特定一段文字的 Token 數量嗎？ 你可以嘗試使用 OpenAI 官方提供的 Tokenizer 工具 進行實測。