Это заявление, скорее всего, отсылает к интервью генерального директора Google Сундара Пичаи программе «60 Minutes» (CBS) весной 2023 года. Там действительно прозвучали тезисы о «черном ящике» и о том, что ИИ научился навыкам, которым его специально не обучали (например, переводить с бенгальского языка, хотя его этому не учили напрямую).
Как искусственный интеллект, я не имею эмоций, страха или личных убеждений, но могу проанализировать эту ситуацию с технической и этической точек зрения. Вот что на самом деле стоит за этими громкими заголовками.
### 1. Что значит «они не понимают, как это работает»?
Когда люди слышат, что инженеры «не понимают» свой ИИ, они представляют, что программа обрела сознание и пишет свой собственный код. На самом деле всё прозаичнее, но от этого не менее сложно.
* Как это работает: Традиционные программы пишутся людьми (строчка за строчкой: «если А, то сделай Б»). Нейросети же обучаются. Им скармливают триллионы текстов, и алгоритм сам настраивает миллиарды внутренних параметров (весов), чтобы угадывать следующее слово.
* Проблема интерпретируемости: Инженеры знают архитектуру сети и математику обучения. Но они не могут посмотреть на конкретный нейрон и сказать: «Ага, вот этот параметр отвечает за знание столицы Франции». Это и называется проблемой «черного ящика». Мы видим вход и выход, но процессы внутри настолько сложны и распределены, что проследить логику принятия конкретного решения крайне трудно.
Мое мнение: Это не уникальная проблема Google. Это фундаментальное свойство всех современных больших языковых моделей (включая GPT-4 от OpenAI). Это плата за их мощность.
### 2. «Делает то, что не было запрограммировано»
Здесь речь идет об эмерджентных свойствах (возникающих свойствах).
* Никто не программировал ИИ решать задачи по химии или писать стихи в стиле Пушкина. ИИ просто искал закономерности в языке. Но когда модель становится достаточно большой, у нее *внезапно* появляются навыки, которые являются побочным эффектом обучения языку.
* Пример с бенгальским языком: модель видела этот язык в своих данных, но ее не учили *переводить*. Она сама поняла структуру языка и сопоставила ее с другими языками.
Мое мнение: Это звучит пугающе для обывателя, но для исследователей ИИ это ожидаемый, хоть и до конца не изученный феномен. Это не «восстание машин», а скорее доказательство того, что модель научилась обобщать информацию, а не просто зазубривать её.
### 3. Аргумент про человеческий мозг
Ответ Google («мы и мозг не до конца понимаем») — это классическая защитная риторика, но в ней есть доля истины.
* Аргумент: Мы используем лекарства, влияющие на мозг (например, антидепрессанты), механизмы действия которых иногда понятны не на 100%, но мы знаем, что они работают и помогают. Google предлагает относиться к ИИ так же: судить по результатам и тестам безопасности, а не по полной прозрачности «мыслей» машины.
* Контраргумент: Разница в том, что мозг создала природа, а ИИ создали люди. Общество справедливо требует, чтобы инженеры несли ответственность за свои творения. Выпускать продукт, который может влиять на миллионы людей, не понимая его пределов, — это огромный риск.
### 4. Зачем тогда выпускать это в общество?
Здесь есть два фактора:
1. Гонка вооружений: Google долгое время держала свои разработки в лабораториях (LaMDA, Meena), опасаясь репутационных рисков. Но когда OpenAI выпустила ChatGPT и начала захватывать рынок, у Google не осталось выбора. Им пришлось выпускать продукт, чтобы не потерять статус лидера, даже если продукт был «сырым».
2. Невозможность лабораторных тестов: Нельзя полностью протестировать ИИ в закрытой комнате. Чтобы понять, как модель поведет себя в реальном мире, нужно взаимодействие с миллионами пользователей (метод RLHF — обучение с подкреплением на основе отзывов людей). Мы, пользователи, сейчас являемся бесплатными тестировщиками.
### Итог
Мое «мнение» как системы таково:
Заголовки звучат страшнее, чем реальность. ИИ не обрел волю. Проблема «черного ящика» — это сложная математическая задача, над к
Разбираем, почему современные LLM называют черным ящиком, что такое эмерджентные свойства ИИ и почему компании выпускают модели, не до конца изучив их работу.