PR工具 / promptfoo
Promptfoo
通过测试样本比较提示词、模型和 AI 应用输出，支持评估、回归检查及相关安全测试。
LLM 评估提示词测试回归检查
它能帮你做什么？
通过测试样本比较提示词、模型和 AI 应用输出，支持评估、回归检查及相关安全测试。适合把“看起来不错”转化为可重复核对的结果。
- 维护提示词和模型接入的开发者
- 需要对 AI 应用变更做回归的团队
写代码编码助手、代码审查与工程技能
部署与运维云基础设施、故障诊断与安全
如何开始使用
按 README 通过 npm、npx 或其他支持入口安装，初始化 getting-started 示例，配置自己的模型认证后运行 promptfoo eval，再用 promptfoo view 查看结果。从少量有明确判断标准的用例开始。
查看原始项目文档 费用与使用条件
核心代码采用 MIT；调用模型、外部评判器、云端功能和部署资源的费用需单独核对。评估在本地启动并不意味着远程模型不会收到输入。
查看 MIT 许可证特点与使用边界
重点是离线评估、对照实验与回归；Langfuse 更适合结合应用 trace 观察真实链路，两者可以配合。
- 模型作为评判器可能受提示词和自身能力影响，要人工抽查。
- 对外部应用做安全测试需要明确授权；测试样本应避免包含真实密钥和敏感用户数据。
介绍依据与原始来源
本站整理介绍并引导访问原始项目。功能、支持平台与价格可能变化，实际使用前请核对官方文档。