Not So Fast AI
En construcciónQué es
Router de IA consciente del coste: cada tarea va al modelo más barato que la hace bien, con un mercado de créditos.
El problema
Enviar todas las tareas de IA al modelo más caro desperdicia dinero, y si un proveedor falla, el trabajo se para.
Cómo funciona
- 1Cada tarea se clasifica por dificultad
- 2Se envía al nivel más barato que la hace bien: local, nube barata, nivel alto, modelo insignia
- 3Si un proveedor falla, el siguiente toma el relevo automáticamente
- 4Se registran el coste y el ahorro de cada tarea
Stack
PythonFastAPIReactViteLLM APIs
Web app privada
El panel de control en vivo funciona en mi propio PC, detrás de un login, y no es público. La parte pública es esta página.
Estado + Lo siguiente
En construcción
Un mercado donde los usuarios ponen a la venta créditos sin usar y otros los compran por debajo del precio de lista, con monedero y registro.