Джерело:
Хабрахабр / Захабренные / Тематические / Посты
Дата публікації:
12/03/2026 15:49
Постійна адреса новини:
http://www.vsinovyny.com/12753812
От MNIST к Transformer. Часть 3. Умножение тензоров. Пишем Linear Layer
12/03/2026 15:49 // Хабрахабр / Захабренные / Тематические / Посты
Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком.
Это третья статья из цикла От MNIST к Transformer, цель которого пошагово пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит. В этой статье мы перейдем от матриц к такому понятию как тензоры, напишем умножение тензоров, так же создадим свой первый линейный слой или полно-связную нейронную сеть. И наконец напишем сеть для распознования mnist датасета.
Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!
Читать далее| « |
Наступна новина з архіву [Перевод] Более быстрый asin() |
Попередня новина з архіву Квест на выживание: Настраиваем плагин Госуслуг и КриптоПро на Ubuntu 24.04 (Noble Numbat) |
» | |
|
|
||||