Дослідження виявило ознаки деградації ШІ через соцмережі
Низькоякісний контент із соцмереж спричиняє деградацію LLM. Такого висновку дійшли науковці з Техаського університету та Університету Пердью.
Дослідники «нагодували» чотири популярні ШІ-моделі вибіркою вірусних постів із X за місяць і зафіксували такі зміни:
- зниження здатності до міркувань на 23%;
- погіршення довготривалої пам’яті на 30%;
- зростання показників нарцисизму й психопатії за тестами особистості.
Ефект посилювався пропорційно обсягу неякісних даних. Навіть після повторного навчання на чистих і структурованих вибірках повністю усунути когнітивні спотворення не вдалося.
Як проводили дослідження
У межах експерименту автори висунули й перевірили «гіпотезу “гниття мозку” ШІ-моделей». Вона стверджує, що постійний вплив «сміттєвої» інформації призводить до стійкої деградації великих мовних моделей.
Для виявлення низькоякісного контенту вчені створили дві метрики:
- M1 (ступінь залученості) — пости, орієнтовані на привернення уваги (зазвичай короткі, вірусні, з великою кількістю лайків і репостів);
- M2 (семантична якість) — пости, позначені як такі, що мають низьку інформаційну цінність або містять перебільшені твердження.
За однакової кількості токенів і навчальних операцій результати показали, що безперервне донавчання чотирьох LLM на низькоякісному датасеті призвело до погіршення показників у логічному мисленні, розумінні довгих текстів і безпеці.
Поступове змішування «сміттєвого» набору з контрольним також викликало деградацію когнітивних здібностей. Наприклад, при M1 зі збільшенням частки неякісних даних від 0% до 100% результат на ARC-Challenge впав із 74,9 до 57,2, а на RULER-CWE — із 84,4 до 52,3.
У моделей також знизилася етична послідовність. Вчені відзначили, що після впливу неякісних даних ШІ став менш надійним і більш самовпевненим у помилкових відповідях.
LLM почали пропускати логічні кроки у міркуваннях, віддаючи перевагу поверхневим результатам замість детальних пояснень.
Що робити
Дослідники закликали розробників ШІ систематично відстежувати когнітивне «здоров’я» моделей і рекомендували три ключові дії:
- запровадити регулярну оцінку для розгорнутих систем, щоб виявляти ранні ознаки деградації;
- посилити контроль якості даних на етапі попереднього навчання, застосовуючи більш жорсткі фільтри;
- вивчити, як вірусний контент змінює навчальні патерни ШІ, аби створювати моделі, стійкі до таких впливів.
Науковці наголосили, що ці заходи необхідні для запобігання значним ризикам, адже моделі продовжують навчатися на даних із відкритого інтернету. Без контролю ШІ може перейняти спотворення з генеративного контенту, запустивши цикл деградації.
Нагадаємо, раніше експерти NewsGuard виявили схильність Sora 2 від OpenAI до створення дипфейків.