Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B

Джерело:
Хабрахабр / Захабренные / Тематические / Посты

Дата публікації:
01/11/2025 12:58

Постійна адреса новини:
http://www.vsinovyny.com/12418396

Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B

01/11/2025 12:58 // Хабрахабр / Захабренные / Тематические / Посты

Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE модели устроит 1 GPU и много обычной RAM. О том, как устроены MoE и как ускорить работу одним параметром не меняя железо.

» Читати повністю

«	Наступна новина з архіву [Перевод] Где искать пропавшие планеты Вселенной?	Попередня новина з архіву 'Killing the Dead' Review: Watch the Graveyard	»