Я знайшов цю суперсилу Клода Кода, і це досить геніально це репозиторій під назвою Claude-code-Hub — універсальна платформа для управління кількома провайдерами ШІ (Claude, OpenAI, Gemini, Codex). Що він робить: - Розумне балансування навантаження: встановлює ваги та пріоритети для кожного постачальника. якщо у вас є кілька API-ключів, він розподіляє запити між ними. вбудований автоматичний вимикач, який виявляє відмову провайдера і автоматично обходить його (до 3 повторних спроб) - Управління сесіями: 5 хвилин кешу контексту, щоб не доводилося постійно змінювати провайдерів під час розмови. Відстежує «ланцюг рішень» того, який провайдер що обробив, корисно для налагодження дивної поведінки - обмеження швидкості: обмеження за RPM, за вартістю (5 годин/тиждень/місячні ліміти) або за одночасними сесіями. Використовує скрипти Redis Lua, тому ліміти атомарні. Якщо Redis виходить з ладу, він не відкривається, замість того щоб блокувати все - Відстеження реальних витрат: показує використання на користувача, споживання токенів, витрати з часом. Має вигляд таблиці лідерів, щоб бачити, хто програє титри. Синхронізація з ціноутворенням Litellm - Шар сумісності OpenAI: якщо у вас є інструменти, створені для формату API OpenAI, це дозволяє їм працювати з Claude замість цього. Автоматично обробляє конвертацію форматів, виклики інструментів, поля логікування Для кого це: - Команди, які прагнуть уніфікованого білінгу/відстеження між провайдерами - будь-хто, хто об'єднує кілька ключів API для резервування Люди, які хочуть автоматичне переключення на резерв, коли один провайдер виходить з ладу - організації, які потребують журналів аудиту всіх AI-запитів API

Посилання на репозиторію: