Советская и российская математика для эффективного ИИ

Статус: первичный обзор, 2026-11-09. Тезис Дани: Запад масштабирует железо, советская школа выжимала результат из слабого железа за счёт теории. Цель — идти «внутрь» и оптимизировать.

Навигация: обзор направления · Налимов · Smart Engines · weight-space programming · связи с направлением 1 · архив

Передний край (2025–2026): теория против масштаба

Масштаб: Kaplan et al., 2020, Hoffmann et al., 2022, Kumar et al., 2024 — законы для точности.
Теория возвращается в архитектуры: KAN, 2024 / KAN 2.0, 2024 (Колмогоров–Арнольд); Tsetlin Machine, 2018 (Цетлин); Mamba, 2023.
Сжатие как теория: Delétang et al., 2023 (Колмогоров/MDL).
Экстремальное сжатие LLM с российским участием: AQLM, 2024, PV-Tuning, 2024, SpQR, 2023; тернарные модели — BitNet b1.58, 2024, 2B4T, 2025.
Безумножительный инференс на CPU (2026): FairyFuse, Litespark, BITCOS — та же идея, что у Smart Engines и Цетлина.

Проблематика

Дают ли теоретически мотивированные архитектуры выигрыш на масштабе? KAN: Liu et al., 2024 vs Yu, Yu, Wang, «KAN or MLP: A Fairer Comparison», 2024.
Предел битности и роль табличных/аддитивных кодов — AQLM 2024, Kumar et al. 2024, BITCOS 2026; советский инструмент — метод четырёх русских.
Теоретический (а не эмпирический) выбор размера модели — MDL/колмогоровская сложность (Delétang et al. 2023) vs законы масштабирования (Hoffmann et al. 2022).
Умножение — узкое место? Выигрыш тернарных/логических вычислений зависит от пропускной способности памяти — BITCOS 2026, FairyFuse 2026.
Абстракция по малому числу примеров — Bongard-LOGO, 2020.
Оптимизация дешевле — ускоренные/зеркальные методы против эвристик Adam (Kingma & Ba, 2014); обучаемые оптимизаторы (VeLO, 2022).

Формат: идея → современная жизнь идеи → как это может сделать модели эффективнее (наша гипотеза). Ссылки — на найденные источники; где нет первоисточника, дана энциклопедическая ссылка.

1. Колмогоров–Арнольд: теорема о суперпозиции → KAN

Идея (1956–1957). Любую непрерывную функцию многих переменных можно представить как суперпозицию непрерывных функций одной переменной и сложения. Решение (ограниченной формы) 13-й проблемы Гильберта. «Единственная по-настоящему многомерная функция — сумма». Wikipedia.
Сейчас. Liu, Wang, Vaidya, Ruehle, Halverson, Soljačić, Hou, Tegmark — «KAN: Kolmogorov-Arnold Networks» (2024): обучаемые одномерные функции (сплайны) на рёбрах вместо фиксированных активаций на нейронах. Продолжение: «KAN 2.0: Kolmogorov-Arnold Networks Meet Science» (2024).
Эффективность. В научных задачах KAN могут быть меньше и интерпретируемее MLP (заявление авторов); на больших задачах выигрыш спорный. Для нас: маленькие KAN для ЭЭГ-признаков (одномерные функции легко читать и квантовать), символьная регрессия законов.

2. Колмогоровская сложность → MDL → «языковое моделирование = сжатие»

Идея (1965). Сложность объекта — длина кратчайшей программы, его порождающей. Wikipedia. Практическая наследница — принцип минимальной длины описания (MDL) (Wikipedia).
Сейчас. Delétang et al. (DeepMind), «Language Modeling Is Compression» (2023): предсказание = сжатие; LLM как универсальный компрессор.
Эффективность. MDL даёт принципиальный критерий «насколько большой должна быть модель»: минимизировать длину(модели)+длину(данных|модель). Прямой путь к квантованию/прунингу как к «сжатию описания». Мост к направлению 1 (cross-links § 2): сложность Лемпеля–Зива (вычислимая оценка колмогоровской) — стандартная мера сложности ЭЭГ в медитации.

3. Вапник–Червоненкис: VC-размерность, SVM, LUPI

Идея (1968–1974). Теория равномерной сходимости частот к вероятностям, VC-размерность, минимизация структурного риска; позже SVM (Cortes & Vapnik, 1995). Wikipedia VC, Vladimir Vapnik.
Сейчас. Классика теории обобщения; поздние работы Вапника — обучение с привилегированной информацией (LUPI) и «статистические инварианты» (точные выходные данные — не проверено в этом обходе).
Эффективность. Контроль ёмкости → меньше параметров при той же обобщающей способности. Для ЭЭГ с малым числом испытуемых SVM/ядровые методы до сих пор часто конкурентны глубоким сетям (утверждение общего характера; конкретные бенчмарки не проверяли).

4. Тихонов: регуляризация некорректных задач

Идея (1963). Некорректную обратную задачу делают устойчивой добавлением стабилизирующего функционала. Andrey Tikhonov, Ridge/Tikhonov regularization.
Сейчас. L2-регуляризация/weight decay в каждом оптимизаторе; томография (кстати, Smart Engines делает КТ на этих идеях).
Эффективность. ЭЭГ-локализация источников — классическая некорректная задача; регуляризация позволяет решать её на слабом железе. Для LLM: регуляризация как инструмент сжатия и устойчивости к квантованию.

5. Ивахненко: МГУА — первые «глубокие» сети

Идея (1968, Киев). Метод группового учёта аргументов: самоорганизующееся наращивание полиномиальной сети, выбор структуры по внешнему критерию. Wikipedia GMDH, МГУА (ru).
Сейчас. Шмидхубер в «Deep Learning in Neural Networks: An Overview» (2014) называет МГУА одним из первых методов глубокого обучения (8-слойные сети уже в 1971).
Эффективность. Автоматический подбор архитектуры минимальной сложности = ранний NAS + прунинг «из коробки». Идея: МГУА-подобный рост маленьких сетей для ЭЭГ-классификаторов под микроконтроллер.

6. Арлазаров и «метод четырёх русских»; «Каисса»

Идея (1970). В. Л. Арлазаров (сейчас директор по науке Smart Engines), Е. А. Диниц, М. А. Кронрод, И. А. Фараджев: ускорение операций над булевыми матрицами за счёт предвычисления таблиц для блоков ~log n. Wikipedia. Реализован в библиотеке M4RI (SageMath).
«Каисса». Советская шахматная программа 1960-х (институт-разработчик — не проверено), первый чемпион мира среди программ, Стокгольм, 1974. Wikipedia.
Сейчас. Тот же приём — у Smart Engines: быстрое преобразование Хафа ASD2 использует метод четырёх русских (Nikolaev et al., 2023, Mathematics). См. Smart Engines.
Эффективность. Ключ для низкобитных сетей: при 1–4 битах весов произведения блоков можно брать из таблиц (lookup), а не умножать. Это прямой мост «метод четырёх русских → LUT-инференс квантованных LLM/ЭЭГ-сетей». Гипотеза, требует проверки.

7. Бонгард: «Проблема узнавания» (1967) и задачи Бонгарда

Идея. М. М. Бонгард (1924–1971) — один из основоположников теории распознавания образов, со-основатель школы с М. Л. Цетлиным. Википедия. Задачи Бонгарда — 2 набора по 6 картинок, найти правило. Wikipedia.
Сейчас. Бенчмарки абстракции: Bongard-LOGO (NeurIPS 2020). Few-shot концептуальное обучение — до сих пор слабое место больших моделей.
Эффективность. Обучение по 6 примерам = противоположность «масштабирования данных». Тестовый полигон для наших маленьких моделей.

8. Глушков

Идея. В. М. Глушков — Институт кибернетики (Киев), теория автоматов, ЭВМ «МИР» (машинная арифметика «на языке, близком к математике»), проект ОГАС. Wikipedia, OGAS.
Эффективность (идея). Аппаратная поддержка высокоуровневых операций — та же логика, что у современных специализированных ИИ-ускорителей. Для нас — скорее историко-методологическая опора.

9. Цетлин: обучающиеся автоматы → Tsetlin Machine

Идея (1960-е). М. Л. Цетлин — автомат с линейной тактикой, коллективы автоматов, игры автоматов. Wikipedia. Коллективы автоматов Цетлина впервые реализовал и исследовал В. Стефанюк (1962).
Сейчас. O.-C. Granmo, «The Tsetlin Machine – A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic» (2018). Применения (по Wikipedia): батарейно-независимые сенсоры, edge-computing, анализ ЭКГ, word embeddings, генерация текста.
Эффективность. Без умножений, на логике и счётчиках → очень низкое энергопотребление, интерпретируемые правила. Один из лучших кандидатов для ЭЭГ-классификатора на микроконтроллере в нашем устройстве.

10. Растригин: случайный поиск

Идея. Л. А. Растригин (Рига) — теория случайного поиска и адаптации; функция Растригина (1974) — стандартный тест оптимизаторов. Wikipedia. (Биографическую статью в ru-Wiki по запросу не нашли — не проверено.)
Эффективность. Безградиентная оптимизация — релевантна теме «правки весов без градиентов» и подбору гиперпараметров на слабом железе.

11. Журавлёв: алгебраический подход к распознаванию, АВО

Идея (1970-е). Ю. И. Журавлёв (1935–2022): алгоритмы вычисления оценок (АВО), алгебраическая теория алгоритмов — алгоритмы распознавания образуют алгебру, корректный алгоритм строится как алгебраическое замыкание (композиция) некорректных. Википедия.
Эффективность (идея). Строгая теория ансамблей/композиций: собрать корректный классификатор из дешёвых слабых. Связь с model merging и mixture-of-experts — наша интерпретация.

12. Айзерман–Браверман–Розоноэр: потенциальные функции = ядра

Идея (1964). «Теоретические основы метода потенциальных функций в задаче об обучении автоматов разделению входных ситуаций на классы», Автоматика и телемеханика, 25:6, 917–936 — Math-Net.ru. Ранняя форма kernel trick: нелинейная классификация как линейная в пространстве признаков; перцептрон Розенблатта — частный случай.
Сейчас. Ядровые методы, SVM; трактовка attention как ядрового сглаживания и линейные (kernelized) attention.
Эффективность. Ядровые аппроксимации attention дают линейную сложность по длине контекста — путь к дешёвым длинным контекстам (общеизвестная линия; конкретные статьи в этот обход не проверяли).

13. Поляк: метод «тяжёлого шара» (momentum)

Идея (1964). Б. Т. Поляк (1935–2023, ИПУ РАН): x_{k+1} = x_k − α∇f(x_k) + β(x_k − x_{k−1}). Википедия, конспект Georgia Tech. Также усреднение Поляка–Юдицкого, условие Поляка–Лоясевича.
Сейчас. Momentum есть в каждом оптимизаторе (SGD-momentum, Adam — экспоненциальные средние в духе «тяжёлого шара»).
Эффективность. Ускорение сходимости = меньше шагов = меньше GPU-часов.

14. Немировский–Юдин: зеркальный спуск и сложность оптимизации

Идея (1983). «Сложность задач и эффективность методов оптимизации»; зеркальный спуск (обобщает градиентный спуск и multiplicative weights). Wikipedia Mirror descent, Arkadi Nemirovski.
Эффективность. Нижние оценки сложности говорят, сколько вычислений нужно в принципе — это и есть «идти внутрь»: знать предел и подбирать геометрию (зеркальное отображение) под задачу, а не наращивать мощности.

15. Нестеров: ускоренный градиент

Идея (1983). Метод с оптимальной скоростью O(1/k²) для гладких выпуклых задач. Yurii Nesterov, конспект Waterloo.
Сейчас. Nesterov momentum (NAdam и др.).

16. Канторович: линейное программирование и оптимальный транспорт

Идея (1939, 1942). Линейное программирование; постановка задачи оптимального транспорта (метрика Канторовича–Рубинштейна / Вассерштейна). Нобелевская премия по экономике 1975. Wikipedia, Wasserstein metric.
Сейчас. Wasserstein GAN (2017); Sinkhorn distances (Cuturi, 2013) — быстрый OT; OT для выравнивания нейронов при слиянии моделей.
Эффективность. OT позволяет сравнивать/сливать модели и распределения смыслов (мост к Налимову: расстояние между ρ(μ) двух состояний).

Дополнительно (не было в исходном списке, но важно — ничего не отбрасываем)

А. И. Галушкин — «Синтез многослойных систем распознавания образов» (М.: Энергия, 1974): описание обучения многослойных сетей, близкое к обратному распространению ошибки, независимо от П. Вербоса — по обзору ВШЭ «О приоритете Советской науки в области нейроинформатики» и библиографическому описанию. Степень приоритета — дискуссионна (не проверено по первоисточнику).
Н. Н. Ченцов — информационная геометрия (единственность метрики Фишера с точностью до множителя) → натуральный градиент. Wikipedia.
Р. Л. Стратонович — нелинейная фильтрация, теория ценности информации. Wikipedia. Релевантно для потоковой обработки ЭЭГ.
Современная российская школа сжатия моделей (прямая наследница «эффективности за счёт теории»):
- Novikov, Podoprikhin, Osokin, Vetrov — «Tensorizing Neural Networks» (2015): тензорные поезда (TT, И. Оселедец) для сжатия полносвязных слоёв.
- Lebedev, Ganin, Rakhuba, Oseledets, Lempitsky — «Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition» (2014).
- Molchanov, Ashukha, Vetrov — «Variational Dropout Sparsifies Deep Neural Networks» (2017).
- Frantar, Ashkboos, Hoefler, Alistarh — GPTQ (2022), пост-тренировочное квантование LLM.
- Dettmers, Svirschevski, Egiazarian, Kuznedelev, Frantar, Ashkboos, Borzunov… — SpQR (2023).
- Egiazarian, Panferov, Kuznedelev, Frantar, Babenko, Alistarh — AQLM: «Extreme Compression of Large Language Models via Additive Quantization» (2024), ~2 бита на вес (Yandex Research / ISTA).
- Malinovskii, Mazur, Ilin, Kuznedelev, Burlachenko, Yi, Alistarh — PV-Tuning (2024).

Синтез: «программа идти внутрь» (черновик, правим вместе)

Представление: смысл как распределение (Налимов) + разложение функций на одномерные (Колмогоров–Арнольд/KAN) + тензорные разложения (Оселедец).
Вычисление без умножений: морфологические/биполярные нейроны (Smart Engines), автоматы Цетлина, табличный инференс по методу четырёх русских.
Размер модели по теории: MDL/колмогоровская сложность, VC-оценки, МГУА-рост структуры.
Обучение дешевле: «тяжёлый шар», Нестеров, зеркальный спуск; планирование эксперимента (Налимов) для отбора данных.
Правка без переобучения: model editing / weight-space programming — с регуляризацией по Тихонову.

Не проверено

Точные выходные данные оригинальных статей Колмогорова (1957), Арнольда (1957), Тихонова (1963), Поляка (1964), Нестерова (1983), Вапника–Червоненкиса (1971) — даны по энциклопедиям/конспектам, не по сканам первоисточников.
Поздние работы Вапника (LUPI, статистические инварианты) — названия по памяти, ссылки в этот обход не открывали.
Утверждения о выигрыше KAN по эффективности — со слов авторов, независимые сравнения не разбирали.