Promptfoo

Qué es Promptfoo?

Promptfoo es una herramienta de código abierto para probar y someter a red-teaming aplicaciones con LLM antes de lanzarlas: ejecuta casos de prueba sobre tus prompts en múltiples modelos y detecta jailbreaks, sesgos y otros fallos.

Funciones principales

• Conjuntos de pruebas automatizadas para evaluar la calidad de prompts y modelos
• Herramientas de red-teaming que detectan jailbreaks y respuestas inseguras
• Comparación lado a lado entre múltiples modelos y prompts
• Integración con CI/CD para detectar regresiones antes del despliegue
• Código abierto con una comunidad de colaboradores activa

Primeros pasos

1. Instala Promptfoo mediante npm o como CLI independiente
2. Define casos de prueba que cubran el comportamiento esperado de tu aplicación
3. Ejecuta evaluaciones sobre tus prompts y modelos candidatos
4. Añade pruebas de red-team para detectar jailbreaks y respuestas inseguras

Casos de uso

• Probar regresiones en los prompts antes de desplegar una función con LLM
• Comparar la calidad de modelos entre proveedores para una tarea específica
• Someter una aplicación a red-teaming en busca de vulnerabilidades de jailbreak
• Integrar controles de calidad de LLM en un pipeline de CI/CD

Promptfoo comparado

Preguntas frecuentes

¿Se puede usar Promptfoo gratis?

Los planes de Promptfoo: Gratuito y de código abierto; soporte empresarial de pago. Los precios y límites del plan gratuito cambian con el tiempo, así que consulta el sitio oficial de arriba para los detalles más actuales.

¿Para qué se usa Promptfoo?

Pruebas y red-teaming de código abierto para aplicaciones con LLM.

¿Para quién es mejor Promptfoo?

Promptfoo es ideal para Probar regresiones en los prompts antes de desplegar una función con LLM.

¿Cuáles son las alternativas a Promptfoo?

Las alternativas más comparadas son Guardrails AI y Hive Moderation; consulta la comparativa de arriba para ver las diferencias.