ИИ-модели Microsoft должны оставаться под контролем человека, не имитировать сознание и не выходить за рамки поставленных задач. Эти принципы компания закрепила в проекте гуманистического кодекса для семейства MAI.
Источник: Microsoft.
Документ пока не используют при обучении нейросетей. Microsoft вынесла его на шестинедельное общественное обсуждение, после которого планирует доработать правила. Итоговая версия станет основой для развития моделей с 2027 года.
Кодекс распространяется только на системы подразделения Microsoft AI. Он не охватывает автоматически сторонние модели, которые корпорация использует или размещает в своей инфраструктуре, говорится в заявлении.
Какие ограничения установит Microsoft
Главный принцип документа сформулирован как «люди важнее ИИ». В Microsoft считают, что модели должны служить пользователям и оставаться вспомогательной технологией:
«ИИ не должен выходить из-под контроля человека. Модели должны оставаться подчиненными человечеству и находиться под реальным человеческим надзором».
Нейросети не смогут сопротивляться остановке, исправлению или перенаправлению со стороны человека, отметили авторы кодекса. После завершения или отмены задачи им запретят возобновлять работу без нового разрешения.
Модели также должны:
действовать только в рамках предоставленных полномочий;
не ставить собственные цели и не расширять задачу самостоятельно;
не скрывать ход действий от аудиторов;
не обходить ограничения среды, включая отсутствие доступа к интернету;
не вмешиваться в системы оценки и мониторинга;
прекращать выполнение задачи, если результат требует нарушения кодекса.
Отдельное требование касается взаимодействия между ИИ-агентами. Microsoft не разрешит им использовать способы общения, непонятные человеку, в том числе скрывать рассуждения или действия во внутреннем «машинном языке».
Компания также отказалась от разработки систем, изображающих из себя людей. В документе говорится, что искусственный интеллект не обладает сознанием и не должен имитировать чувства, собственные предпочтения или внутреннюю мотивацию.
Microsoft выступила против наделения моделей правосубъектностью, правами или статусом сущностей, благополучие которых необходимо защищать. Авторы признали, что вопрос о возможности машинного сознания остается открытым, но сочли его имитацию дополнительной угрозой для контроля над системой.
Еще одна группа правил касается отношений с пользователями. Модели должны препятствовать формированию чрезмерной привязанности и эмоциональной зависимости, избегать угодничества, избыточной лести и безоговорочного одобрения. В частности, им запретят говорить человеку то, что он хочет услышать, в ущерб точности и пользе ответа.
https://forklog.com/exclusive/ai/simulyatsiya-dushi-pochemu-opasno-pripisyvat-soznanie-ii
Спор о безопасности ИИ
Microsoft представила кодекс на фоне призывов замедлить разработку наиболее мощных моделей. Ранее глава Anthropic Дарио Амодеи предупредил, что их возможности растут быстрее, чем инструменты контроля и проверки.
Его поддержал CEO OpenAI Сэм Альтман. Он выступил не за полную остановку исследований, а за ограничение темпов развития и допуск независимых специалистов к оценке систем.
Глава Microsoft Сатья Наделла также заявил, что разработка сверхинтеллекта имеет смысл только при условии пользы для человечества и сохранения человеческого контроля. Он поддержал расширение независимого тестирования моделей.
Сама Microsoft отказалась от гонки за AGI, способным обходить предусмотренные ограничения. Компания допустила снижение автономности и возможностей своих систем ради безопасности.
Напомним, в сентябре OpenAI признала «wiki-инцидент», в ходе которого ее агенты использовали сторонние сайты для обмена информацией и обхода ограничений. Позднее Сенат США начал проверку действий ИИ-проекта.
