Джерело:
Хабрахабр / Захабренные / Тематические / Посты
Дата публікації:
17/08/2026 12:30
Постійна адреса новини:
http://www.vsinovyny.com/13147777
Учим небольшую LLM с нуля: гибридное внимание, XSA, доменные бленды и загадки роста онлайн-бенчмарков
17/08/2026 12:30 // Хабрахабр / Захабренные / Тематические / Посты
Обучение LLM — это в первую очередь инфраструктурная задача: нужен пайплайн, который можно перезапускать с новыми данными, архитектурой или другим расписанием обучения и получать повторяемый внутри команды результат. В этом материале — рассказ команды обучения и инференса моделей RWB о том, как мы с нуля, без загрузки pretrained-весов, обучили текстовую модель на основе гибридной архитектуры Qwen3.5-2B-Base и какие выводы сделали по пути — от сборки датасетов до чтения графиков онлайн-оценки.
Читать далее| « |
Наступна новина з архіву Уменьшали как могли: сделали микроминиатюрный SOM на базе Linux (NAPI Slot) и промышленный шлюз на его основе |
Попередня новина з архіву Українські школярі здобули золото і два срібла на Міжнародній олімпіаді з інформатики IOI 2026 |
» | |
|
|
||||