Блог
Инженерные заметки
Инженерные заметки о форматах чисел, инференсе LLM на vLLM и дообучении крупных моделей — с расчётом памяти и готовыми командами.
По вашему запросу ничего не найдено.
Сократите запрос или попробуйте другие слова — либо выберите рубрику выше.
Все статьи рубрики «Инженерия»
Как дообучить модель 70B: требования к GPU и порядок работы
Сколько GPU нужно для дообучения модели 70B: QLoRA — один GPU с 80 ГБ, LoRA в BF16 — около двух, полное — свыше 1 ТБ (класс 8× H200). Расчёт памяти и настройка.
Как самостоятельно развернуть инференс LLM с vLLM
Инференс LLM на своём сервере с vLLM: подбор GPU, OpenAI-совместимый сервер, настройка FP8, кэширования префиксов и параллелизма, защита для продакшена.
Получите GPU-сервер уже в этом месяце.
Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Сервер выдаётся менее чем за 10 минут.
- Выдача менее чем за 10 минут
- Отмена в любом месяце
- Оплата криптовалютой, бонус до +50%