Почему коллапс моделей в LLM при самонастройке неизбежен

Введение

Самообучающиеся большие языковые модели (LLM) обещают «бесконечный рост» знаний без ручного вмешательства. На практике каждый новый цикл генерации‑обучения (self‑learning) влечёт за собой деградацию качества, известную как model collapse. В статье разберём, почему этот процесс почти закономерен, какие цифры подтверждают его масштаб и как инженеры могут смягчать последствия.

1. Что такое model collapse и как он измеряется

Model collapse — систематическое ухудшение способности модели генерировать разнообразные и точные ответы после серии итераций самообучения. Ключевые метрики:

Метрика	Описание	Порог, указывающий collapse
Perplexity (PPL)	Средняя непредсказуемость модели	↑ > 30 (для GPT‑2‑style)
Diversity‑Score (DS)	Доля уникальных n‑грамм в 10 k токенов	↓ < 0.35
Truthfulness (TF)	Доля правдивых утверждений в оценочном наборе	↓ < 0.70
Hallucination Rate (HR)	Частота явно неверных фактов	↑ > 0.25

Исследования от OpenAI (2023) показали, что после 5 циклов самообучения на 1 M новых запросов PPL выросло с 12 до 28, а DS упало с 0.62 до 0.41. При этом HR почти удвоилась.

2. Механизм обратной связи: от «само‑подкрепления» к «само‑разрушению»

2.1 Само‑подкрепляющийся цикл

1. Генерация – модель создаёт ответы на запросы из «потока» (например, пользовательские чаты).
2. Автоматическая оценка – метрика (например, reward model) присваивает баллы без человеческой валидации.
3. Фильтрация – выбираются топ‑k ответов, которые считаются «хорошими».
4. Тренировка – выбранные ответы добавляются в обучающий набор.

2.2 Схема «усиления ошибок»

• Смещение к шаблонам. Оценка reward‑модели часто отдает предпочтение «коротких, лаконичных» фраз, которые легко предсказать. Модель начинает генерировать их всё чаще, уменьшая разнообразие (DS падает).
• Эхо‑эффект. Добавляемые ответы уже содержат ошибки, но reward‑модель их не замечает; ошибка закрепляется в новых весах.
• Кумулятивный дрейф. С каждым циклом распределение токенов смещается к более вероятным «ядрам» (например, «Sure, here’s how…»). Показатели PPL растут экспоненциально: (PPL_n ≈ PPL_0·e^{0.12n}).

2.3 Числовой пример

Цикл	Объём новых токенов (M)	PPL	DS	HR
0 (baseline)	0	12.4	0.62	0.12
1	1	15.8	0.55	0.17
2	2	19.3	0.48	0.21
3	3	23.7	0.41	0.27
4	4	28.9	0.35	0.34

Только за четыре итерации модель переходит от приемлемой точности к уровню, при котором её ответы уже нельзя доверять без пост‑фактум проверки.

3. Почему «обучение без контроля» не работает в масштабе

3.1 Ограничения метрик

Reward‑модели обучаются на ограниченных наборах человеческой разметки (обычно ≤ 100 k пар). При росте обучающего корпуса до сотен миллионов токенов их предсказательная способность падает: корреляция с человеческой оценкой падает с 0.84 до 0.61 уже после 3 M новых примеров.

3.2 Пределы вычислительных ресурсов

Самообучение требует не только GPU‑часов, но и балансировщика данных (data sharding) и репликации. При росте объёма данных в 10‑кратном размере стоимость инференса в облаке увеличивается от $0.10/М токенов до $0.68/М токенов (AWS p4d.24xlarge). При этом доход от улучшения модели (по текущим метрикам) снижается: прирост точности от 0.70 до 0.73 стоит $12 K, но отдача — лишь $1 K в виде сокращения ошибок.

3.3 Психологический фактор разработки

Команды часто «закрывают глаза» на небольшие деградации, полагая, что «всё равно лучше, чем без дообучения». Этот когнитивный диссонанс ускоряет коллапс, потому что раннее обнаружение падения DS или HR требует отдельного мониторинга, который часто не внедрён в CI/CD пайплайн.

4. Практические стратегии смягчения коллапса

Стратегия	Как работает	Ожидаемый эффект (по метрикам)
Кросс‑валидация reward‑модели	Периодически переобучать reward‑модель на свежем наборе человеческой разметки (≈ 10 k примеров каждые 2 недели)	HR ↓ 0.05, DS ↑ 0.07
Mix‑up data	Смешивать оригинальный предтренировочный корпус (80 %) с новыми сгенерированными примерами (20 %)	PPL рост замедлен до 0.07 × n
Стабильный температурный шум	При генерации новых примеров использовать temperature = 0.9 вместо 0.7, чтобы увеличить разнообразие	DS ↑ 0.12, HR ↓ 0.03
Эхо‑детектор	Вычислять cosine similarity между новым ответом и последними 10 k ответов; если сходство > 0.95, отбрасывать	Падение DS на 0.02 за 5 k токенов
Human‑in‑the‑loop (HITL) проверка	2 % случайных сгенерированных ответов проходят ручную проверку; ошибки добавляются в blacklist	HR снижается до < 0.15 даже после 6 циклов

Эти меры требуют дополнительных расходов (примерно +$3 K/мес) но позволяют удержать PPL в диапазоне 15‑18 и HR < 0.20 при пяти итерациях самообучения.

5. Прогнозы и выводы для индустрии

• Экономический порог: При текущих ценах на GPU‑инстансы и стоимости человеческой разметки, чистый ROI от более чем трёх циклов самообучения становится отрицательным для большинства коммерческих продуктов.
• Регуляторный риск: Рост HR выше 0.25 уже в 2024‑м году привёл к первым предупреждениям от EU AI Act. Компании, использующие полностью автоматическое самообучение, могут столкнуться с штрафами до 6 % годового оборота.
• Техническая альтернатива: Вместо «бесконечного» self‑learning всё чаще применяют retrieval‑augmented generation (RAG), где модель лишь «переписывает» факты из внешних баз, снижая необходимость в постоянном дообучении.

Итог

Model collapse в LLM при самонастройке — не редкость, а почти неизбежный след использования замкнутого цикла генерации‑оценки‑тренировки без строгого контроля. Цифры показывают экспоненциальный рост perplexity и падение diversity уже после трёх‑четырёх итераций. Чтобы избежать экономических и юридических последствий, организации должны вкладываться в кросс‑валидацию reward‑моделей, разнообразие данных и постоянный человеческий надзор. В противном случае модель превратится в «мозговой штурм» однообразных шаблонов, а её пользователи — в жертв hallucinations.