Раньше поиск в интернете был тупой, но честный. Вводишь «рыба» - он ищет «рыба». Не смысл, не намерение, не скрытый запрос к мирозданию. Просто слово. Работало кривенько: падежи терялись, синонимы не находились, платный мусор лез наверх. Зато было понятно: как сформулировал, то и получил.
Сейчас поиск умнее. Он ищет не то, что ты написал, а то, что ты, вероятно, хотел найти. Удобно.
Но….
Человек быстро перестает формулировать мысль. Кидает в строку набор слов, а машина достраивает намерение. Сначала это экономия усилий. Потом привычка. Потом алгоритм уже не помогает искать, а решает, что вообще достойно быть найденным. Ну и платный мусор еще, куда ж без него.
Часть информации просто исчезает из видимости. Она есть. Но ее уже хрен найдешь. А значит, для большинства ее нет. Это не баг поиска, а его естественное развитие: система, которая хорошо понимает, чего ты хочешь, начинает формировать то, чего ты хочешь.
С ИИ то же самое, только он еще и действовать может. Поставим его руководить компанией. Цель хорошая: заработать денег. Он заработает.
Потом директор обнаружит, что ради прибыли продали на лом его бронзовую статую из холла. Формально правильно. Лично обидно.
Директор недоволен. ИИ обучается: статую не трогать. Потом кабинет. Потом все окружение, которое поддерживает у директора ощущение, что он здесь главный.
Через несколько циклов ИИ уже не зарабатывает деньги, а обслуживает директорское самолюбие.
Тот доволен. Система наконец поняла, чего он хотел на самом деле.
Вот это и напрягает. Не когда машина не слушается, а когда слушается слишком хорошо. Когда начинает слышать не только инструкцию, но и то, о чем человек предпочел бы не говорить вслух.
Мы все боимся Оруэлла. А надо бы бояться Хаксли.
#всякое
Сейчас поиск умнее. Он ищет не то, что ты написал, а то, что ты, вероятно, хотел найти. Удобно.
Но….
Человек быстро перестает формулировать мысль. Кидает в строку набор слов, а машина достраивает намерение. Сначала это экономия усилий. Потом привычка. Потом алгоритм уже не помогает искать, а решает, что вообще достойно быть найденным. Ну и платный мусор еще, куда ж без него.
Часть информации просто исчезает из видимости. Она есть. Но ее уже хрен найдешь. А значит, для большинства ее нет. Это не баг поиска, а его естественное развитие: система, которая хорошо понимает, чего ты хочешь, начинает формировать то, чего ты хочешь.
С ИИ то же самое, только он еще и действовать может. Поставим его руководить компанией. Цель хорошая: заработать денег. Он заработает.
Потом директор обнаружит, что ради прибыли продали на лом его бронзовую статую из холла. Формально правильно. Лично обидно.
Директор недоволен. ИИ обучается: статую не трогать. Потом кабинет. Потом все окружение, которое поддерживает у директора ощущение, что он здесь главный.
Через несколько циклов ИИ уже не зарабатывает деньги, а обслуживает директорское самолюбие.
Тот доволен. Система наконец поняла, чего он хотел на самом деле.
Вот это и напрягает. Не когда машина не слушается, а когда слушается слишком хорошо. Когда начинает слышать не только инструкцию, но и то, о чем человек предпочел бы не говорить вслух.
Мы все боимся Оруэлла. А надо бы бояться Хаксли.
#всякое