Штучний інтелект може найближчим часом почати створювати потужніші моделі без постійної участі людей-розробників. Про це попередила Anthropic, компанія за чатботом Claude. Її хвилює, що розвиток технології може стати швидшим, ніж люди встигатимуть його контролювати.
Таке застереження міститься в оновленій заявці S-1/A, яку Anthropic 2 листопада подала до Комісії з цінних паперів і бірж США (SEC), повідомляє TechCrunch.
У компанії вважають, що її технології підходять до моменту, коли ШІ зможе помітно пришвидшити розробку нових моделей. Проте жодна з наявних систем Anthropic цієї межі ще не досягла.
Що таке рекурсивне самовдосконалення
Це сценарій, у якому штучний інтелект допомагає створювати кращі моделі, а ті ще ефективніше беруться за наступні покоління. Так розвиток технології може набирати обертів дедалі швидше.
Anthropic уже використовує ШІ у власних дослідженнях і розробках. За останній рік Claude суттєво покращився в програмуванні, математиці та кібербезпеці. У внутрішній політиці відповідального масштабування компанія описує орієнтир, який називає «різким прискоренням прогресу завдяки ШІ». За її словами, цей рівень може бути недалеко, але поки що його не досягнуто.
У чому головний ризик
Найбільше компанію непокоїть розрив між темпами вдосконалення ШІ та здатністю людей перевіряти, чи він безпечний. Anthropic зізнається, що раніше не завжди вчасно помічала різке зростання можливостей своїх моделей. Якщо ШІ активніше долучатиметься до власного розвитку, стежити за такими змінами буде ще складніше.
Через це Anthropic не планує повністю віддавати ШІ створення наступних передових моделей. Компанія хоче зберегти серйозний людський нагляд і не виключає перегляду внутрішніх правил безпеки.
Водночас вона визнає й плюси такого сценарію: ШІ, який прискорює власний розвиток, міг би допомогти вченим швидше робити відкриття та підвищити ефективність досліджень. Проте за цими перевагами стоїть ризик появи систем, чиї можливості зростатимуть швидше, ніж люди встигатимуть оцінювати загрози.
Чому до заяв варто ставитися обережно
Деякі скептики нагадують, що документ S-1/A є не лише інформаційним, а й маркетинговим. Тому розмови про близькість самовдосконалюваного ШІ можуть заодно працювати на просування компанії.
Раніше Anthropic, готуючись до IPO (виходу на біржу з первинним публічним розміщенням акцій), вже попереджала потенційних інвесторів про ризики штучного інтелекту. Серед наслідків дедалі потужніших моделей вона згадувала «катастрофічні або екзистенційні» загрози для людства.
Якщо потрібно, можу зробити коротшу версію, дати кілька варіантів заголовка або переписати текст у більш розмовному стилі.