Все новости
🎯 Проекты 1 мин чтения

Локальный ИИ‑сервер за 200 000 ₽ с 2× Tesla V100

Что произошло

Автор собрал сервер для инференса на двух видеокартах Tesla V100, уложившись в бюджет 200 000 ₽, и опубликовал бенчмарки 128 моделей от текста до генерации видео.

Детали

  • 2 × Tesla V100 (16 ГБ HBM2) + NVLink‑мост
  • Общий бюджет ≈ 200 000 ₽
  • 128 моделей протестированы: от LLM до генерации видео
  • GPT‑2 (774 M) — ≈ 400 токенов/сек в паре V100
  • Stable Diffusion 1.5 — 2,8 сек/изображение 512×512

Что это значит

Сборка демонстрирует, что даже при ограниченном бюджете можно построить мощный инференс‑сервер, способный обслуживать широкий спектр задач от текста до видео.

NVLink‑мост между двумя V100 удваивает доступную память и повышает пропускную способность инференса, позволяя обслуживать крупные модели в пределах бюджета 200 к ₽.