Groq

제작사: Groq

전용 LPU 하드웨어에서 구동하는 초저지연 추론.

모델 API & 인프라 무료 티어 제공, 사용량 기반 API 과금

어떤 도구일까, Groq?

Groq는 일반 GPU가 아닌 자체 개발한 LPU 칩에서 오픈 모델을 구동해, 일반적인 클라우드 API보다 훨씬 빠른 추론 속도를 제공합니다. 애플리케이션의 사용자 경험이 거의 즉각적인 모델 응답에 좌우될 때 많이 선택하는 서비스입니다.

주요 기능

일반적인 GPU 추론보다 훨씬 빠른 토큰 생성 속도
Llama, Mixtral 같은 인기 오픈 모델에 대한 호스팅 접근
손쉬운 마이그레이션을 위한 OpenAI 호환 API
대부분의 애플리케이션을 프로토타이핑하기에 충분히 넉넉한 무료 티어
동시 부하가 높아도 일정하게 유지되는 낮은 지연 시간

시작하는 방법

groq.com에서 가입하고 무료 API 키 발급받기
작업에 맞는 호스팅 오픈 모델 선택하기
OpenAI 호환 인터페이스로 API 호출하기
전환 전에 현재 사용 중인 제공사와 지연 시간 비교 벤치마크하기

Groq 요금

No seat fee. Official production list, September 2026: GPT-OSS 20B $0.075 / $0.30 per 1M; GPT-OSS 120B $0.15 / $0.60; Whisper v3 $0.111/hour, turbo $0.04/hour.

Free tier has org rate limits. Developer unlocks Batch/Flex and higher RPM.

Cache or Batch each cut 50%, not both. Llama 8B/70B: sales only.

요금제	가격	이런 사람에게 추천
Free	$0 + org rate limits	Latency tests and light prototypes
GPT-OSS 20B	$0.075 / $0.30 per 1M	Fast default text (~1000 t/s)
GPT-OSS 120B	$0.15 / $0.60 per 1M	Heavier open-weight quality (~500 t/s)
Whisper turbo	$0.04 / audio hour	Cheap transcription
Developer / Enterprise	Card or commit	Batch, Flex, leftover Llama SKUs

AIKetra의 평가: Groq is a speed and price play on open models, not a frontier-lab catalog. Start on GPT-OSS 20B. If your repo still says Llama 8B Instant, fix the model id before you debug 'the API is down'.

가격은 자주 바뀝니다. 결정하기 전에 위 공식 웹사이트에서 최신 정보를 확인하세요.

활용 사례

거의 즉각적인 응답이 필요한 실시간 음성 에이전트
지연 시간이 UX에 직접 영향을 미치는 인터랙티브 애플리케이션
오픈 웨이트 모델을 대규모로 비용 효율적으로 호스팅
시간 제약이 엄격한 고처리량 배치 처리

Groq 비교

도구	비교 포인트
Groq	전용 LPU 하드웨어에서 구동하는 초저지연 추론.
Together AI	더 폭넓은 모델 선택지, 다른 하드웨어
OpenRouter	단일 제공사가 아닌 여러 제공사에 걸쳐 라우팅

자주 묻는 질문

Groq, 무료로 쓸 수 있을까요?

Groq 요금제: 무료 티어 제공, 사용량 기반 API 과금. 가격과 무료 요금제 한도는 계속 바뀌므로 최신 정보는 위 공식 웹사이트에서 확인하세요.

Groq, 어디에 쓰는 도구인가요?

전용 LPU 하드웨어에서 구동하는 초저지연 추론.

Groq, 누구에게 잘 맞을까요?

Groq 추천 대상: 거의 즉각적인 응답이 필요한 실시간 음성 에이전트.

Groq, 대안이 있을까요?

자주 비교되는 대안: Together AI 및 OpenRouter. 차이는 위 비교표를 참고하세요.

Groq, 요금은 얼마인가요?

There is no monthly Groq subscription. Self-serve production text is GPT-OSS 20B at $0.075/$0.30 per million tokens or 120B at $0.15/$0.60. A free key exists with rate limits. Llama 3.1 8B and 3.3 70B are no longer on Free/Developer as of 16 August 2026.