Promptfoo

От: Promptfoo

Открытый инструмент для тестирования и red-teaming LLM-приложений.

Детекция и безопасность Бесплатно, с открытым исходным кодом; платная поддержка для крупных компаний

— что это Promptfoo?

Promptfoo — это инструмент с открытым исходным кодом для тестирования и red-teaming LLM-приложений перед релизом. Он прогоняет тест-кейсы по вашим промптам на нескольких моделях и проверяет наличие джейлбрейков, предвзятости и других сбоев.

Основные функции

Автоматизированные наборы тестов для оценки качества промптов и моделей
Инструменты red-teaming для поиска джейлбрейков и небезопасных ответов
Сравнение нескольких моделей и промптов рядом друг с другом
Интеграция с CI/CD для выявления регрессий перед деплоем
Открытый исходный код с активным сообществом контрибьюторов

Как начать

Установите Promptfoo через npm или как самостоятельный CLI
Опишите тест-кейсы, покрывающие ожидаемое поведение вашего приложения
Запустите оценку по всем кандидатным промптам и моделям
Добавьте red-team проверки на джейлбрейки и небезопасные ответы

Сценарии использования

Регрессионное тестирование промптов перед деплоем LLM-функции
Сравнение качества моделей разных провайдеров для конкретной задачи
Red-teaming приложения на предмет уязвимостей к джейлбрейкам
Встраивание проверок качества LLM в CI/CD-пайплайн

Promptfoo : сравнение с аналогами

Инструмент	Особенность
Promptfoo	Открытый инструмент для тестирования и red-teaming LLM-приложений.
Guardrails AI	проверка во время выполнения, а не тестирование перед деплоем
Hive Moderation	модерация контента, а не тестирование промптов

Частые вопросы

Promptfoo бесплатный?

Тарифы Promptfoo: Бесплатно, с открытым исходным кодом; платная поддержка для крупных компаний. Цены и условия бесплатного тарифа могут меняться, поэтому актуальную информацию проверяйте на официальном сайте выше.

Для чего используется Promptfoo?