Anthropic предложила ввести мораторий на разработку ИИ, который может писать ИИ

Разработчик чат-бота Claude, компания Anthriopic, опубликовала текст с призывом отказаться от разработки «самопишушегося» ИИ.

Текст касается «рекурсивного самоулучшения и самопрограммирования» (RSI) — процесса, который позволяет нейросетям самостоятельно себя обучать. Продвинутый ИИ фактически сам изменяет свой код в зависимости от задач, которые перед ним ставит человек. 

По прогнозам компании, если текущие темпы улучшения ИИ сохранятся, к 2027 году системы ИИ смогут успешно «выполнять задачи, на выполнение которых человеку требуются недели». Более того, как сообщает фирма, её агенту Claude «можно дать недостаточно четко сформулированную задачу, и он сам найдет способ её решить». Разработчики говорят, что их ИИ уже сейчас может сравниться или превзойти опытных людей в выполнении четко определенного научного эксперимента. Агент, как сообщается, уже пишет «значительную часть кода» для продуктов Anthropic. К маю 2026 года более 80% кода, который мы попадает в кодовую базу компании, было написано Claude. Сообщается, что модели начали работать автономно на «более длительных временных горизонтах». Старшие инженеры теперь «пишут» в восемь раз больше кода, чем до бума ИИ, потому что большую его часть за них придумывают нейросети. Более того, как отмечают разработчики, три из четырёх строчек кода, написанных Claude, не нуждаются в исправлениях (для более лёгких задач).

Из данных уже следует, что роль человека в разработке ИИ постоянно сокращается. В Anthropic cчитают, что как только качество сгенерированного и написанного человеком кода сравнится по качестве, «люди полностью перестанут писать код и перейдут к его только проверке». Более того, в будущем ИИ, вероятно, сам будет проверять написанный собой же или другими ИИ алгоритм. Предполагается, что модели могут научиться даже ставить задачи сами себе. В этом смысле вероятно, что в некотором будущем живые люди вообще окажутся не нужны. 

В Anthropic опасаются, что разработка может выйти из под контроля и оказаться небезопасной. Людям нужно больше времени на решение «огромных проблем», которые возникают в области ИИ. На этом фоне в компании призывают замедлить или вовсе приостановить «разработку передовых технологий ИИ, чтобы социальные структуры и исследования в области согласования могли идти в ногу с развитием технологий». Anthropic обещает создать ПО, которое якобы должно следить за тем, чтобы её конкуренты также не развивали технологии ИИ слишком сильно. 

«В принципе, ничто из этого не является невозможным — мир создал системы проверки для других сложных технологий (например, Договор о ликвидации ракет средней и меньшей дальности), — но на создание инфраструктуры и доверия для этих систем ушли десятилетия. У нас столько времени нет. Односторонняя пауза со стороны одной лаборатории, напротив, достижима немедленно, но дает гораздо меньший результат: она изменит лидера, но не создаст более широкого процесса обсуждения, которого сейчас не хватает. В ближайшие месяцы мы организуем дискуссии, в которых политики, исследователи, представители гражданского общества и другие компании, занимающиеся ИИ, смогут помочь ответить на некоторые вопросы, поднятые в этой статье, особенно касающиеся полного рекурсивного самосовершенствования и того, как создать лучшие возможности для координации и обсуждения. Мы опубликуем результаты этих дискуссий. Возможность совместного изучения этих вопросов уже открыта, и люди, не работающие в компаниях, занимающихся ИИ, должны быть вовлечены в это обсуждение», — говорится в заявлении.

Примечательно, что выдвинутые идеи перекликаются с предложением администрации Трампа, где разработали указ о предварительной цензуре ИИ в США. Президент не стал его подписывать; по его словам, это нужно, чтобы не проигрывать гонку Китаю. Ранее компания вступила в конфликт с Пентагоном, когда публично объявила, что не будет заниматься слежкой за американцами и созданием автономных роботов-убийц. После этого её грант перешёл OpenAI; что именно разрабатывает компания, неизвестно.