Not So Fast AI
Em construçãoO que é
Router de IA atento ao custo: cada tarefa vai para o modelo mais barato que a faz bem, com mercado de créditos.
O problema
Enviar todas as tarefas de IA para o modelo mais caro desperdiça dinheiro, e a falha de um fornecedor pára o trabalho.
Como funciona
- 1Cada tarefa é classificada por dificuldade
- 2É encaminhada para o nível mais barato que a faz bem: local, cloud barata, nível alto, topo de gama
- 3Se um fornecedor falhar, o seguinte assume automaticamente
- 4O custo e a poupança são registados por tarefa
Stack
PythonFastAPIReactViteLLM APIs
Web app privada
O painel de controlo ao vivo corre no meu próprio PC, protegido por login, e não é público. A parte pública é esta página.
Estado + Próximos passos
Em construção
Um mercado onde os utilizadores colocam à venda créditos não usados e outros os compram abaixo do preço de tabela, com carteira e registo.