Groq

什麼是 Groq?

Groq 在自家研發的 LPU 晶片上執行開放模型，而非一般的 GPU，推論速度遠比一般雲端 API 快上許多。當應用程式的使用體驗仰賴近乎即時的模型回應時，Groq 是熱門選擇。

主要功能

• token 產生速度極快，遠勝一般 GPU 推論
• 提供 Llama、Mixtral 等熱門開放模型的託管服務
• 簡單易用、相容 OpenAI 格式的 API，方便轉換過來
• 免費額度相當大方，足以應付大多數應用程式的原型開發
• 即使在高併發負載下，延遲依然穩定偏低

如何開始使用

1. 在 groq.com 註冊並取得免費 API 金鑰
2. 挑選一個符合任務需求的託管開放模型
3. 透過相容 OpenAI 格式的介面呼叫 API
4. 切換前先比較延遲表現，跟目前使用的服務商做基準測試

Groq 定價

No seat fee. Official production list, September 2026: GPT-OSS 20B $0.075 / $0.30 per 1M; GPT-OSS 120B $0.15 / $0.60; Whisper v3 $0.111/hour, turbo $0.04/hour.

Free tier has org rate limits. Developer unlocks Batch/Flex and higher RPM.

Cache or Batch each cut 50%, not both. Llama 8B/70B: sales only.

我們的看法： Groq is a speed and price play on open models, not a frontier-lab catalog. Start on GPT-OSS 20B. If your repo still says Llama 8B Instant, fix the model id before you debug 'the API is down'.

價格經常變動。決定之前，請到上方的官方網站確認最新資訊。

使用情境

• 需要近乎即時回應的即時語音代理
• 延遲會直接影響使用體驗的互動式應用程式
• 以符合成本效益的方式，大規模託管開放權重模型
• 在時間緊迫下進行高吞吐量的批次處理

Groq 比較

常見問題

Groq 可以免費使用嗎？

Groq 的方案：提供免費方案，API 依用量計費。價格與免費方案的限制會隨時間調整，詳細資訊請以上方的官方網站為準。

Groq 是用來做什麼的？

在自研 LPU 硬體上提供超低延遲推論。

Groq 最適合什麼樣的使用者？

Groq 很適合 需要近乎即時回應的即時語音代理.

Groq 有哪些替代方案？

常被拿來比較的替代方案有 Together AI和OpenRouter，詳細差異請見上方的比較表。

Groq 的價格是多少？

There is no monthly Groq subscription. Self-serve production text is GPT-OSS 20B at $0.075/$0.30 per million tokens or 120B at $0.15/$0.60. A free key exists with rate limits. Llama 3.1 8B and 3.3 70B are no longer on Free/Developer as of 16 August 2026.