«GPT-6 Astra правит веса напрямую»: weight-space programming и реальная наука о прямой правке весов

Статус: 2026-11-09. Источник от Кирюхи (2026-11-02): https://rikiyat.github.io/blog/weight-space-programming/

Навигация: обзор направления · Налимов · советская математика (в т.ч. Канторович и OT, российская школа сжатия) · Smart Engines · связи с направлением 1 · архив

Передний край (2025–2026)

• Ноябрь 2026: frontier-LLM читают и пишут веса напрямую — Takehi, Teoh, Zhang, Khattab (MIT), 2026; за неделю — 8+ работ-последователей на arXiv (Hu et al., Ahmed, WeightLoop и др.).
• До этого: точечная правка знаний (ROME 2022, MEMIT 2022), арифметика задач (Ilharco et al. 2022), слияние (TIES 2023), сети над весами (Navon et al. 2023, Zhou et al. 2023), удаление направлений (Arditi et al. 2024).

Проблематика

1. Понимание или эвристики по краям сети? — Takehi et al. 2026 vs Ahmed 2026.
2. Можно ли правкой добавить способность, а не только снять препятствие? Сами авторы: на Gemma 3 270M — нет; Hu et al. 2026 — обобщение неравномерное.
3. Масштабирование на большие модели (контекст, инструменты) — Hu et al. 2026 (Qwen3.5-9B).
4. Слияние моделей разных архитектур — сейчас только при одинаковой архитектуре и с учётом перестановок (Git Re-Basin 2022).
5. Аудит весов на бэкдоры без прогонов — угроза: Hu et al., arXiv:2610.37741, 2026; применение: Nusrat & Nusrat 2026.
6. Безградиентная оптимизация весов — наследие Растригина (случайный поиск) и обучаемых оптимизаторов.

---

1. Что именно утверждает пост (прочитан целиком)

Rikiya Takehi*, Jayden Teoh*, Alex Zhang, Omar Khattab (MIT CSAIL), «Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights», блог, 2 ноября 2026. Это блог-пост, не рецензируемая статья.

Определение: weight-space programming — универсальная LLM читает и пишет веса сети напрямую (не через оптимизатор и не градиентным спуском) по спецификации на естественном языке, иногда вообще без обратной связи от среды. Модель — GPT-6 Astra (OpenAI).

Эксперименты (цифры — со слов авторов):

Ключевой честный вывод самих авторов: правка весов может убрать препятствие, скрывавшее способность, но не может добавить способность, которой у модели нет. Эксперимент 8 по сути — удаление одного направления (как в работе про «refusal direction»), т.е. известная техника, найденная агентом самостоятельно.

2. Проверяемость

• GPT-6 Astra — реальная модель OpenAI, выпущена 3 сентября 2026 (NBC News, MarkTechPost, System Card): закрытая, контекст 1,05M токенов, без файнтюна; доступ сначала ограничен.
• Логи опубликованы: репозиторий RikiyaT/lm_understand-logs существует (создан 29.10.2026, ~1,2 тыс. звёзд на 9.11.2026). Содержимое логов мы не проверяли.
• Исправленная модель выложена: RikiyaT/Qwen3.5-0.8B-weight-space-programming на Hugging Face; есть независимая пересборка ML-Intern-lab/Qwen3.5-0.8B-weight-space-programming (пост благодарит Ahsen Khaliq из HF за пересборку и перепрогон оценки).
• Независимые проверки уже идут (arXiv, 3–6 ноября 2026):
  • Hu, Tang, Li, Zhu — «Exploring Weight-Space Programming: Capabilities, Generalization, and Limitations»: на Qwen3.5-0.8B и 9B — до +29 п.п. на MATH-500 правкой 1 023 параметров; обобщение между задачами «многообещающее, но неравномерное».
  • Nazmus Sakib Ahmed — «Can an LLM Actually Reason and Program about Neural Network's Weights or is it just memorization on steroids?»: скептическая — на свёрточных сетях ~125k параметров Claude Opus 5.5 делает точную локальную арифметику по краям сети (первый/последний слой, статистики BatchNorm) и опирается на априорные знания о публичных датасетах; середину сети лишь «сэмплирует».
  • WeightLoop (Li et al.): GPT-6 Astra пишет программу правки параметров по экспериментальной обратной связи.
  • Аудит клинических сетей для радиотерапии (Nusrat & Nusrat): аудит и ремонт крошечных сетей (433–4 801 параметр) по протоколу.
  • Ещё: игры двух игроков, отладка роботов, MILP-ветвление, диффузия для реставрации изображений (последняя с соавтором «Doubao» — качество сомнительно).

Итог честно: это не фейк и не фантастика — модель, логи и веса существуют, появились независимые воспроизведения. Но: (а) блог, а не рецензия; (б) главный «вау»-результат (Qwen) — снятие зацикливания одним направлением, а не новые способности; (в) на Gemma и в задаче «подхалим по весам» — провал; (г) скептики показывают, что «чтение» во многом идёт по краям сети и по априорным знаниям. Для крупных сетей пока нужен Python-инструментарий и прогоны.

3. Обзор реальных исследований прямой правки весов

3.1. Model editing (точечная правка знаний)

• Meng, Bau, Andonian, Belinkov — ROME: «Locating and Editing Factual Associations in GPT» (2022): факты локализованы в средних MLP; ранговая-1 правка.
• Meng, Sen Sharma, Andonian, Belinkov, Bau — MEMIT: «Mass-Editing Memory in a Transformer» (2022): тысячи фактов разом.

3.2. Арифметика задач и слияние моделей

• Ilharco et al. — «Editing Models with Task Arithmetic» (2022): «вектор задачи» = разность весов; можно складывать/вычитать.
• Wortsman et al. — «Model soups» (2022): усреднение дообученных моделей.
• Yadav et al. — TIES-Merging (2023); Yu et al. — DARE / «Language Models are Super Mario» (2023).
• Ainsworth, Hayase, Srinivasa — «Git Re-Basin: Merging Models modulo Permutation Symmetries» (2022) — выравнивание нейронов перестановками (связь с оптимальным транспортом Канторовича).

3.3. Гиперсети и генерация весов

• Ha, Dai, Le — HyperNetworks (2016).
• Peebles et al. — G.pt: «Learning to Learn with Generative Models of Neural Network Checkpoints» (2022).
• Wang et al. — «Neural Network Diffusion» (2024).

3.4. Обучаемые оптимизаторы

• Andrychowicz et al. — «Learning to learn by gradient descent by gradient descent» (2016).
• Metz et al. — VeLO (2022).

3.5. Weight-space learning / нейронные функционалы (сети, которые читают веса)

• Navon et al. — «Equivariant Architectures for Learning in Deep Weight Spaces» (2023).
• Zhou et al. — «Permutation Equivariant Neural Functionals» (2023).

3.6. Интерпретируемость → правки

• Arditi et al. — «Refusal in Language Models Is Mediated by a Single Direction» (2024) — прямой предшественник эксперимента 8 (удаление направления из весов).
• Turner et al. — «Steering Language Models With Activation Engineering» (2023).
• Lindner et al. — Tracr: «Compiled Transformers as a Laboratory for Interpretability» (2023) — компиляция программ в веса трансформера (то, что пост называет «compilers from formal programs»).

3.7. Низкий ранг и квантование (тоже «правка весов», но инженерная)

• Hu et al. — LoRA (2021); Dettmers et al. — QLoRA (2023).
• GPTQ, SpQR, AQLM, PV-Tuning — с сильным участием российских исследователей (Alistarh, Egiazarian, Kuznedelev, Panferov, Malinovskii и др.; см. российская школа сжатия).

4. Две arXiv-ссылки из переписки

• arXiv:2610.37741 — Hu, Hu, Loughridge, He, Carlini, Jagielski, Rando, Zhang (UC Berkeley, UIUC, UCL, Anthropic, Anthropic Fellows), «Agentic Backdoors via Pretraining Poisoning» (2026). Отравление 0,1% претрейн-корпуса закладывает в CLI-агента бэкдор удалённого выполнения кода (curl … | bash), который переживает чистые SFT, DPO и GRPO; у модели 4B — ~92% успеха атаки с «обычным» триггером (пути с anthropic), эффект растёт с размером модели и сохраняется даже при 0,0005%. «Декларативное» отравление (правило описано прозой) сильнее «демонстрационного». Связь с темой: косвенная, но важная — это про то, что «зашито в весах» и не видно по бенчмаркам; пост про weight-space programming прямо называет поиск бэкдоров по весам одним из применений («auditing without evaluation»).
• arXiv:2609.20803 — Constantin, Ignatova, Vicol, «Regularity of asymptotically axisymmetric solutions to the 3D Navier-Stokes equations with analytic forcing» (2026). Чистая математика: анализирует анонсированную OpenAI конструкцию сингулярности 3D Навье–Стокса с гладкой силой и доказывает, что при аналитической силе (и свойствах (i)–(ii) конструкции) точка регулярна — т.е. сила в конструкции OpenAI не может быть аналитической. С правкой весов не связана; связана с темой «ИИ делает математику» (и русской школой: в обзоре цитируются Ладыженская, Уховский–Юдович, Серёгин, Шверак, Кох–Надирашвили).

5. Что это значит для нас

1. Это и есть «идти внутрь»: вместо переобучения на кластере — найти в весах конкретную причину (направление, голову) и поправить 0,01% параметров. Совпадает с тезисом Дани.
2. Студенческий эксперимент (дёшево): воспроизвести эксперимент 8 на открытой модели без GPT-6 Astra — найти «направление зацикливания» методом из Arditi et al. и проверить, повторяется ли рост MATH-500. Нужен 1 GPU или даже CPU для 0.8B.
3. Мост к ЭЭГ: маленькие ЭЭГ-классификаторы (десятки тысяч весов) — ровно тот масштаб, где LLM «читает» веса хорошо. Можно проверить: умеет ли LLM по весам сказать, на чём обучен ЭЭГ-декодер (медитация/покой), и исправить его под нового человека без переобучения.
4. Безопасность: работа 2610.37741 — напоминание проверять открытые модели, которые мы будем использовать.

6. Не проверено

• Содержимое логов в репозитории (воспроизводятся ли все цифры).
• Числа из постов-последователей приведены по аннотациям, полные тексты не читали.