Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B

Дата публікації:
01/11/2025 12:58

Постійна адреса новини:
http://www.vsinovyny.com/12418410

Вам нужна RAM, а не VRAM. Параметр -cmoe для запуска больших и огромных моделей LLM локально. Ускоряем GPT-OSS-120B

01/11/2025 12:58 // Хабрахабр:

Всё больше выходит больших MoE моделей с малым числом активных параметров. У MoE совсем другой сценарий нагрузки и использования ресурсов нежели у Dense моделей, достаточно немного VRAM. Большие MoE модели устроит 1 GPU и много обычной RAM. О том, как устроены MoE и как ускорить работу одним параметром не меняя железо.

» Читати повністю

«	Наступна новина з архіву [Перевод] Где искать пропавшие планеты Вселенной?	Попередня новина з архіву У Чехії зросла кількість українських біженців після дозволу виїзду чоловіків до 23 років	»