CascadeFlow
lemony-ai/cascadeflowAI 已审核
RepoPicks Radar 检查于
CascadeFlow 是什么?
cascadeflow 是一个面向 Python 和 TypeScript 的库(还有一个 n8n 节点),嵌入在你正在编写的程序的 AI 调用中。它先向一个小而便宜的模型提问,按你设定的规则检查答案,只有检查不通过时才把问题交给一个大模型。它还会累计每次调用的费用,可以把一次运行控制在预算之内,还可以拒绝一次工具调用或停止一个智能体。它可以对接 OpenAI、Anthropic、Groq、Together、Google、DeepSeek,以及 Ollama 或 vLLM 里的本地模型,并接入 LangChain、CrewAI、PydanticAI 和 Google ADK。你需要自己写代码才能使用它。
CascadeFlow 安装有多容易?
C · 需要安装 1–2 个工具 · Windows
- Windows C
- macOS C
- Linux C
Windows、Mac 和 Linux 都是 C 级:"pip install cascadeflow"(或者"npm install @cascadeflow/core"),在 .env 文件里放一个提供商密钥,再加上大约十行列出便宜模型和昂贵模型的自己的代码。没有任何东西可以打开,也没有界面;n8n 节点是最接近点选式操作的方式。
CascadeFlow 的 GitHub 数据
- 星标
- 3,9252026年11月10日
- 下载量
- 189本周 16
- 增长
- —上次读取时无增长
星标变化
事实
- 可运行于
- Windows, macOS, Linux
- 需要安装
- Python, Node.js
- 从源码编译需要
- Python, Node.js
- 磁盘空间
- 200 MB–800 MB · 估算
- 账号或密钥
- At least one model provider: OpenAI, Anthropic, Groq, Together AI, Hugging Face, Google, Azure OpenAI, DeepSeek or OpenRouter (not needed if both models are local, in Ollama or vLLM)
- 费用
- 免费,API 另行收费 · 该库基于 MIT 协议免费提供。你花钱的地方是它背后的模型提供商,这正是这个项目的意义所在;用 Ollama 或 vLLM 在自己的机器上运行小模型则不花一分钱。
- 许可证
- MIT (宽松型)
- 可以替代
- Portkey, OpenRouter, LangSmith
- GitHub 上的最近改动
- 2026年9月25日
CascadeFlow 的风险信号 (5)
- 注意检查通过时保留便宜模型的答案
按照设计,它"Speculatively executes small, fast models first",只有在验证失败时才会升级,而验证包括长度、"Confidence scoring (logprobs analysis)"、格式,以及一个默认值为"semanticThreshold: 0.5"的可选相似度分数。这些阈值能否在你的主题领域里抓住一个错误答案,取决于你自己;小模型给出的回答会被当作最终答案交付。
AI 审核
- 信息节省数据来自维护者自己
README 开头就说"Cost Savings: 69% (MT-Bench), 93% (GSM8K), 52% (MMLU), 80% (TruthfulQA) savings, retaining 96% GPT-5 quality",后面又说"Result: 40-85% cost reduction, 2-10x faster responses, zero quality loss"。仓库里带有示例和测试,但没有你可以运行来重现这些数字的基准测试。
AI 审核
- 信息成本报告使用你自己输入的价格
价格是手工写在配置里的,例如 ModelConfig(name="gpt-5", provider="openai", cost=0.00562),示例由此打印出 result.total_cost。一旦某个提供商改变价格,它报告的数字就会和你的实际账单产生偏差。
AI 审核
- 信息发布的包比代码旧
最新的发行版本是 2026-04-02 的 v1.2.0,pyproject.toml 里也写着版本 1.2.0,而仓库一直改动到 2026-09-25。"pip install cascadeflow"给你的是四月的那个包,而不是你在这里读到的内容。
AI 审核
- 信息网关模式在说明中没有设置密码
对于已有的应用,README 提供了一个即插即用的网关:"python -m cascadeflow.server --mode auto --port 8084",并加载了你的提供商密钥。说明中没有提到这个端口有任何令牌或密码,所以任何能访问到它的东西都可以用你的密钥去消费。
AI 审核
证据以原始语言显示。
Radar 无法验证的 CascadeFlow 相关内容
- 这种节省是否适用于你自己的提示词和模型
- 质量检查能否在错误答案到达你的用户之前,在你的主题领域里发现它
- 月底的实际账单,因为它打印出来的数字来自你自己输入的价格
- PyPI 和 npm 上的包是否和这个仓库里的代码一致
- 所宣称的每一步低于 5 毫秒的开销