Promptfoo

O que é Promptfoo?

O Promptfoo é uma ferramenta open source para testar e fazer red-teaming em aplicações com LLM antes de lançá-las: ele executa casos de teste contra seus prompts em vários modelos e investiga jailbreaks, viés e outras falhas.

Principais recursos

• Conjuntos de testes automatizados para avaliar a qualidade de prompts e modelos
• Ferramentas de red-teaming que investigam jailbreaks e saídas inseguras
• Comparação lado a lado entre vários modelos e prompts
• Integração com CI/CD para detectar regressões antes do deploy
• Open source, com uma comunidade de contribuidores ativa

Primeiros passos

1. Instale o Promptfoo via npm ou como CLI independente
2. Defina casos de teste que cubram o comportamento esperado da sua aplicação
3. Execute avaliações nos seus prompts e modelos candidatos
4. Adicione testes de red-team para verificar jailbreaks e saídas inseguras

Casos de uso

• Testes de regressão em prompts antes de lançar uma funcionalidade com LLM
• Comparar a qualidade de modelos entre provedores para uma tarefa específica
• Fazer red-teaming em uma aplicação para encontrar vulnerabilidades de jailbreak
• Integrar verificações de qualidade de LLM a um pipeline de CI/CD

Promptfoo comparado

Perguntas frequentes

Dá para usar Promptfoo de graça?

Os planos do Promptfoo: Grátis, open source; suporte corporativo pago. Preços e limites do plano gratuito mudam com o tempo, então confira o site oficial acima para os detalhes mais atuais.

Para que serve o Promptfoo?

Testes e red-teaming open source para aplicações com LLM.

Para quem o Promptfoo é melhor?

Promptfoo é ideal para Testes de regressão em prompts antes de lançar uma funcionalidade com LLM.

Quais são as alternativas ao Promptfoo?

As alternativas mais comparadas são Guardrails AI e Hive Moderation; confira a comparação acima para ver as diferenças.