MiniMax M3: 428 B параметров, 23 B активных на токен

Что произошло

MiniMax выпустила модель M3 с MoE‑архитектурой: общий размер ≈ 428 млрд параметров, но при инференсе активируется лишь ~23 млрд параметров на токен благодаря разреженной активации.

Детали

• Общий размер модели ≈ 428 млрд параметров
• Активные параметры на токен ≈ 23 млрд
• MoE‑архитектура с MiniMax Sparse Attention
• Веса доступны на Hugging Face для дообучения и локального инференса

Что это значит

Для инженеров, разрабатывающих крупные LLM, MoE‑подход открывает путь к масштабным моделям без пропорционального роста инференс‑затрат.

MoE‑архитектура с разреженной активацией позволяет инференсировать модель в 428 B параметров, используя лишь ~23 B активных параметров на токен.