Groq

什麼是 Groq?

Groq 在自家研發的 LPU 晶片上執行開放模型，而非一般的 GPU，推論速度遠比一般雲端 API 快上許多。當應用程式的使用體驗仰賴近乎即時的模型回應時，Groq 是熱門選擇。

主要功能

• token 產生速度極快，遠勝一般 GPU 推論
• 提供 Llama、Mixtral 等熱門開放模型的託管服務
• 簡單易用、相容 OpenAI 格式的 API，方便轉換過來
• 免費額度相當大方，足以應付大多數應用程式的原型開發
• 即使在高併發負載下，延遲依然穩定偏低

如何開始使用

1. 在 groq.com 註冊並取得免費 API 金鑰
2. 挑選一個符合任務需求的託管開放模型
3. 透過相容 OpenAI 格式的介面呼叫 API
4. 切換前先比較延遲表現，跟目前使用的服務商做基準測試

使用情境

• 需要近乎即時回應的即時語音代理
• 延遲會直接影響使用體驗的互動式應用程式
• 以符合成本效益的方式，大規模託管開放權重模型
• 在時間緊迫下進行高吞吐量的批次處理

Groq 比較

常見問題

Groq 可以免費使用嗎？

Groq 的方案：提供免費方案，API 依用量計費。價格與免費方案的限制會隨時間調整，詳細資訊請以上方的官方網站為準。

Groq 是用來做什麼的？

在自研 LPU 硬體上提供超低延遲推論。

Groq 最適合什麼樣的使用者？

Groq 很適合 需要近乎即時回應的即時語音代理.

Groq 有哪些替代方案？

常被拿來比較的替代方案有 Together AI和OpenRouter，詳細差異請見上方的比較表。