Направление 2. Эффективный ИИ на основе советской/российской математики — обзор

Микро-вики направления. Обновлено 2026-11-09. Структура сверху вниз: передний край → проблематика → карта файлов → детали в файлах. Связи с направлением 1: ../03-cross-links/from-direction-2.md. Все статьи: архив (direction=2). План: ../00-plan/PLAN.md.

Тезис Дани: Запад масштабирует железо; советская школа получала результат на слабом железе за счёт теории. Мы идём «внутрь»: оптимизируем представления, вычисления и сами веса.

1. Передний край (2025–2026)

1. Законы масштабирования задают «цену» качества. Kaplan et al., 2020; compute-optimal «Chinchilla» — Hoffmann et al., 2022; закон для точности чисел — Kumar et al., «Scaling Laws for Precision», 2024; для дистилляции — Busbridge et al., 2025.
2. Малые модели на устройстве (SLM, 0,1–3B). Phi-3, 2024; MobileLLM, Liu et al., 2024; обзор литературы до июля 2026 — «Small Language Models: A Survey of Architecture, Training, and On-Device Deployment».
3. Экстремальное квантование, 1–2 бита на вес. GPTQ, 2022 → AQLM, Egiazarian et al., 2024 → PV-Tuning, 2024 (сильное российское участие); тернарные модели с нуля — BitNet b1.58, Ma et al., 2024, BitNet b1.58 2B4T, 2025.
4. Инференс без умножений на CPU (2026). FairyFuse, Zuo et al., 2026; Litespark, 2026; BITCOS «Breaking the 1.58-bit Barrier», Georganas, Heinecke, Dubey, 2026. Smart Engines делает «свёртку без умножения» с 2019 г. — см. Smart Engines § 3.1.
5. Новые «теоретические» архитектуры. KAN, Liu et al., 2024 (наследник теоремы Колмогорова–Арнольда) и его критика «KAN or MLP: A Fairer Comparison», 2024; линейные по времени SSM — Mamba, Gu & Dao, 2023; MoE и низкоточная тренировка — DeepSeek-V3, 2024.
6. Правка весов без обучения (2026). «Sparks of Weight-Space Programming», Takehi et al., MIT, 2026 и волна воспроизведений на arXiv — см. weight-space-programming.md.
7. Сжатие как теория обучения. «Language Modeling Is Compression», Delétang et al., 2023 — прямой наследник колмогоровской сложности.

2. Ключевая проблематика (открытые вопросы)

1. Где предел битности? Ниже ~2 бит качество падает; почему и можно ли обойти теорией (табличные/аддитивные коды)? — AQLM 2024, PV-Tuning 2024, Scaling Laws for Precision 2024, BITCOS 2026. Наш угол: метод четырёх русских.
2. Умножение не нужно? Тернарные/морфологические вычисления на CPU дают выигрыш только в memory-bound режиме — BITCOS 2026, FairyFuse 2026; перенос BMNN из CV в трансформеры не сделан — Limonova et al., 2019, IEEE Access 2021.
3. Какой размер модели «достаточен» в принципе? MDL/колмогоровская сложность против эмпирических законов — Delétang et al. 2023, Hoffmann et al. 2022.
4. Правят ли LLM веса «по пониманию» или по краям сети и априорным знаниям? — Takehi et al. 2026 vs скептики Ahmed 2026, Hu et al. 2026.
5. Дают ли «теоретические» архитектуры реальный выигрыш? KAN — Liu et al. 2024 vs Yu et al. 2024.
6. Смысл как точка или как распределение? Вероятностная семантика Налимова против точечных эмбеддингов; западные аналоги — Wong et al. 2023, Gaussian embeddings → Bernoulli fields. Архитектурной реализации «по Налимову» мы не нашли.
7. Обучение по нескольким примерам — Bongard-LOGO, 2020 (наследие Бонгарда).
8. Модели на микроконтроллере для биосигналов (ЭЭГ) — Wang et al., 2020, Tsetlin Machine, 2018 → см. cross-links § 1.
9. Скрытое в весах (безопасность). Бэкдоры переживают пост-тренинг — Hu et al., arXiv:2610.37741, 2026.

3. Карта файлов

4. Главные люди (основной раздел — по ссылке)

Налимов · Колмогоров · В. Л. Арлазаров (см. также метод четырёх русских) · В. В. Арлазаров, Д. П. Николаев, Е. Е. Лимонова · Вапник · Цетлин · Ивахненко · Alistarh, Egiazarian и др.

5. Ближайшие студенческие шаги (черновик)

1. Воспроизвести эксперимент «снятие зацикливания» на Qwen3.5-0.8B без GPT-6 Astra (подробно).
2. EEGNet → 8 → 4.6 бит → BMNN → Tsetlin Machine на микроконтроллере (подробно).
3. Прочитать «Вероятностную модель языка» и прототип «эмбеддинги-распределения + байесовское внимание» на маленькой модели (подробно).