CascadeFlow
lemony-ai/cascadeflowRevisado por IA
Verificado pelo RepoPicks Radar em
O que é CascadeFlow?
O cascadeflow é uma biblioteca para Python e TypeScript (mais um nó do n8n) que fica dentro das chamadas de IA de um programa que você está escrevendo. Ele pergunta primeiro a um modelo pequeno e barato, confere a resposta com regras que você define, e só envia a pergunta para um modelo grande quando a verificação falha. Ele também soma o custo de cada chamada, pode manter uma execução dentro de um orçamento, e pode recusar uma chamada de ferramenta ou parar um agente. Ele conversa com OpenAI, Anthropic, Groq, Together, Google, DeepSeek e com modelos locais no Ollama ou vLLM, e se conecta ao LangChain, CrewAI, PydanticAI e Google ADK. Você precisa escrever código para usá-lo.
Quão fácil é instalar CascadeFlow?
C · instalar 1 ou 2 ferramentas · Windows
- Windows C
- macOS C
- Linux C
C no Windows, Mac e Linux igualmente: "pip install cascadeflow" (ou "npm install @cascadeflow/core"), uma chave de provedor em um arquivo .env, e cerca de dez linhas de código próprio listando o modelo barato e o caro. Não há nada para abrir nem nenhuma interface; o nó do n8n é o que mais se aproxima de uma rota de apontar e clicar.
CascadeFlow no GitHub
- Estrelas
- 3.925em 10 de nov. de 2026
- Downloads
- 18916 na semana
- Crescimento
- —sem ganho na última leitura
Estrelas ao longo do tempo
Fatos
- Roda em
- Windows, macOS, Linux
- Você precisa instalar
- Python, Node.js
- Para compilar a partir do código
- Python, Node.js
- Espaço em disco
- 200 MB–800 MB · estimativa
- Contas ou chaves
- At least one model provider: OpenAI, Anthropic, Groq, Together AI, Hugging Face, Google, Azure OpenAI, DeepSeek or OpenRouter (not needed if both models are local, in Ollama or vLLM)
- Custo
- Grátis, a API é paga · A biblioteca é gratuita sob a licença MIT. O que você paga são os provedores de modelo por trás dela, que é justamente o objetivo do projeto; rodar o modelo pequeno na sua própria máquina com Ollama ou vLLM não custa nada.
- Licença
- MIT (Permissiva)
- Pode substituir
- Portkey, OpenRouter, LangSmith
- Última mudança no GitHub
- 25 de set. de 2026
Sinais de risco de CascadeFlow (5)
- Atençãoa resposta do modelo barato é mantida quando passa na verificação
Por design, ele "Speculatively executes small, fast models first" e só escala quando a validação falha, e essa validação é comprimento, "Confidence scoring (logprobs analysis)", formato e uma pontuação de similaridade opcional com um padrão de "semanticThreshold: 0.5". Se esses limites pegam uma resposta errada no seu assunto depende de você; uma resposta do modelo pequeno é entregue como a resposta final.
revisão por IA
- Infoos números de economia vêm dos mantenedores
O README começa com "Cost Savings: 69% (MT-Bench), 93% (GSM8K), 52% (MMLU), 80% (TruthfulQA) savings, retaining 96% GPT-5 quality" e mais adiante "Result: 40-85% cost reduction, 2-10x faster responses, zero quality loss". O repositório traz exemplos e testes, mas nenhum benchmark que você possa rodar para reproduzir esses números.
revisão por IA
- Infoo relatório de custo usa os preços que você digita
Os preços são escritos à mão na configuração, como em ModelConfig(name="gpt-5", provider="openai", cost=0.00562), e os exemplos imprimem result.total_cost a partir disso. Os números que ele relata se afastam da sua fatura real assim que um provedor muda seus preços.
revisão por IA
- Infoo pacote publicado é mais antigo que o código
O release mais recente é o v1.2.0, de 2026-04-02, e o pyproject.toml também diz versão 1.2.0, enquanto o repositório continuou mudando até 2026-09-25. O que "pip install cascadeflow" te dá é o pacote de abril, não o que você lê aqui.
revisão por IA
- Infoo modo gateway não tem senha nas instruções
Para apps já existentes, o README oferece um gateway pronto para encaixar: "python -m cascadeflow.server --mode auto --port 8084", com suas chaves de provedor carregadas. Nenhum token ou senha é mencionado para essa porta, então qualquer coisa que consiga alcançá-la pode gastar através das suas chaves.
revisão por IA
As evidências aparecem no idioma original.
O que o Radar não conseguiu verificar em CascadeFlow
- Se as economias se sustentam com seus próprios prompts e modelos
- Se a verificação de qualidade pega uma resposta errada no seu assunto antes que ela chegue aos seus usuários
- A conta real no fim do mês, já que os números que ele imprime vêm dos preços que você digitou
- Se o pacote no PyPI e no npm corresponde ao código deste repositório
- A sobrecarga alegada de menos de 5 milissegundos por etapa