До сих пор мы говорили о трансформере как о единственной архитектуре. Но это не так — у него есть фундаментальное ограничение (квадратичная сложность по длине), и есть несколько новых архитектур которые с этим борются. Ещё — модели которые учатся не из текста, а из видео и действий.
Картина становится богаче. Трансформер — текущий чемпион, но не единственная игра в городе. Mamba, RWKV, MoD — современные направления оптимизации. World models — путь к ИИ который понимает физический мир. Архитектуры будут меняться, но фундамент тот же: представления, обучение, градиент.