Что произойдет, если кормить нейросеть текстами и изображениями, которые сгенерировала другая нейросеть?

Ученые из Оксфорда и Кембриджа провели этот эксперимент и выяснили страшное: наступает явление, получившее название "коллапс модели". Машины буквально сходят с ума.
⠀
Уже через несколько поколений самообучения на синтетических данных языковые модели начинают нести бессвязную чушь, теряют словарный запас и плодят системные галлюцинации. Это похоже на генетическое вырождение при близкородственном скрещивании или коровье бешенство, когда животных кормили костной мукой их же сородичей. Алгоритмам критически необходимы сырые, живые, хаотичные данные, созданные настоящими людьми.
⠀
Но трагедия в том, что современный интернет стремительно заполняется сгенерированным шлаком. Модели начинают обучаться на контенте друг друга. Внезапно самым ценным и дефицитным ресурсом в эпоху цифровизации становится не кремний и не видеокарты, а несовершенная, живая человеческая мысль.