Promptfoo：给企业 AI 做批量验收、回归测试和安全红队
Launch Date2023-05 (Show HN / GitHub)
Hacker NewsPromptfoo
Promptfoo：给企业 AI 做批量验收、回归测试和安全红队
What It Does (它能做什么)
1
批量评测：比较不同提示词、模型和知识库版本的准确率、成本与速度。
2
安全测试：覆盖提示词注入、越狱、数据泄露和常见 AI 风险。
3
MIT 开源：可接进 CI 流程，适合做成企业 AI 的质量验收台。
Why It Matters (为什么值得看)
Problem (解决什么痛点)
企业改一句系统提示词或换一个模型，往往只靠产品经理随手问几题。上线后才发现旧问题复发、成本翻倍或敏感问题能被绕过。没有固定测试集，就无法证明新版真的更好。
Market (谁愿意买单)
AI 客服、合同助手、投研问答和内部知识库都需要持续验收。客户买的不是一堆分数，而是上线门槛、失败案例、责任记录和每次升级后的回归报告。
Edge (为什么选它)
Langfuse 更偏线上观察，garak 更偏攻击扫描，Promptfoo 覆盖离线评测和红队流程。提醒：它允许执行自定义脚本，官方也明确说本地评测器不是安全沙箱；不要在生产服务器直接运行陌生测试包。
Plain-English Glossary (术语白话解释)
Evaluation (评测)
用固定问题和规则衡量 AI 输出是否达到要求。
Regression Test (回归测试)
升级后重新跑旧测试，确认以前能做对的事情没有变差。
Assertion (断言)
预先写好的通过条件，例如必须引用来源或不能出现敏感词。
CI
代码或配置每次更新时自动执行检查的发布流程。
Action Path (怎么变现)
1. 赚取佣金 (Affiliate)
模型 API/测试环境/安全产品分成制作模型换版前后对比和 AI 客服翻车案例，导流模型与安全服务。
暂无官方计划
2. 服务变现 (Service)
企业 AI 验收体系代建
建立业务题库、通过阈值、安全测试和发布前报告，并接入客户 CI 流程。
3. 模式复刻 (Copycat)
行业 AI 质检台
针对客服、法务或医疗问答预装测试集和中文报告，让非技术负责人能直接看到不合格案例。
Entry Ticket
Cost
$20 - $300/mo (模型调用量决定成本)
Time
4 Days (建立首批题库和发布门槛)
Difficulty
Medium-Hard (工具简单，难的是定义什么叫答对)
Source
Open Source Website