Latent State // Журнал

Обучаю GPT с нуля на своей RTX 4090

Зачем вообще проводить прямую, как нормальное уравнение делает это за O(nd² + d³), и живой график: крутите шум, наклон и сдвиг — и смотрите, как отвечают оценка, остатки и MSE.

Одно умножение, три реализации, три порядка величины — измерено на десктопном Skylake и объяснено: кэш-линии, арифметическая интенсивность и идея тайлинга, на которой стоит каждый BLAS и каждое GPU-ядро матричного умножения.