Когда Генри Форд изобрел конвейер (хотя это не он его изобрел), это привело к прорыву в производительности труда. Машины по цене стали доступны для рядового потребителя (средний класс). Оборотная сторона медали: каждый из работников конвейера умел закручивать одну только гайку и выполнять только одну элементарную операцию. Он не представлял себе, как работает автомобиль, из каких частей он состоит и как они между собой взаимодействуют. Сегодня человек становится всё более специализированным существом. Высоко оптимизированным для одной единственной операции. Хорошо это или плохо? Говорят, что для решения проблемы нужно уметь увидеть её с целиком (helicopter view). Способны ли даже тысяча таких рабочих конвейера, собравшись вместе, объединённые сколь угодно эффективной системой коммуникаций, увидеть «автомобиль» целиком, а не как набор определённым образом соединённых деталей? Думаю, что нет. Для этого нужны не только знания, что с чем соединять, куда что прикручивать, но также знания механики, физики, математики, эргономики и других чуждых для них знаний.
Пример, конечно, утрированный. Но на полном серьёзе периодически встречаются высказывания, что «наша программа не имеет алгоритма, она работает по принципам искусственного интеллекта». Что такое искусственный интеллект, и то, что он основан на тех же самых алгоритмах, мало кто понимает. Как и то, что алгоритмы пишут программисты, которые имеют свойство ошибаться. Как и все другие люди. Те, кто писал когда либо программы, знают, что ошибка может оставаться необнаруженной долгие годы, особенно, если нет возможности независимой проверки решений, выдаваемых программой. Предположим, вы купили программу, которая анализирует резюме кандидатов и отправляет в помойку те из них, которые не отвечают заданным вами критериям. Вы свято верите в то, что программа действительно анализирует на соответствие вашим критериям и никак иначе. Скорее всего, это не так, если у вас нет другой, независимо разработанной программы, которая делает то же самое – чтобы сравнить результаты. А у вас её нет, а если бы и была, то вы вряд ли сможете проверить, как она работает во всех режимах. Например, она может прекрасно отбирать по трём критериям, а на четвертый реагировать только в том случае, если термин написан большими буквами.
Это типичная проблема SAP и других подобных систем. Пользователь хочет одно, консультант понял кое-что и запрограммировал другое, в результате после 10 неудачных попыток создания разных форм отчётов конечный пользователь оставляет всякую надежду и начинает по-тихой вести табличку в Экселе. Наблюдал это неоднократно, проводя аудиты. И это хорошо, если пользователь обнаруживает ошибку ручным подсчётом, а во многих случаях ошибка остаётся незамеченной. Я встречал даже случаи умышленного мошенничества, в которых SAP использовался как инструмент манипуляций с финансовой отчетностью. А что – идеальное преступление: мало кто понимает, как делаются эти отчёты, да и в случае чего «ошибку» можно списать на дурака-консультанта.
В науке есть такой критерий: если теорию нельзя проверить или представить себе некий эксперимент, который мог бы её опровергнуть, то эта теория считается ненаучной. В неё можно только верить. Или не верить. Как в бога или НЛО. Так вот, мы вступили в принципиально новую эпоху существования человека. Это эпоха веры не в бога, а в безгрешность решений, принимаемых информационными системами. И зависимости от них. Проверить, правильно ли работает программная система резервирования билетов, расчёта прибыли или отсеивания кандидатов мы не можем – значит, остаётся только свято верить в безгрешность систем, принимающих решение об отказе в выдаче вам визы или запуске ракет.
Мы вступили в эпоху, когда компьютеры управляют людьми без права обжалования или аппеляции…
Сопутствующие мысли по теме
1. Человек имеет два варианта в отношении любого нового явления: либо найти ему объяснение исходя из законов природы и логики и научиться им управлять; либо просто придумать непроверяемое объяснение и поверить в него. Во втором случае существует больше вариантов для манипуляции массами — потому что придумать можно всё, что угодно. Например: «Наша биллинговая программа показала, что вы израсходовали за час 6 Гб». «Но я вообще не включал телефон!» «Ничего не знаем, наша программа не ошибается» — такой диалог у меня был реальности с одним сотовым оператором на букву М.
2. Про подбор персонала — там действительно уже идёт «война машин». Рекрутеры получают слишком много резюме, чтобы их просмотреть, и покупают программы, которые отсеивают резюме. Соискатели, наоборот, изобретают методы автоматической подгонки резюме под критерии отбора и веерной рассылки. В результате объемы циркулирующей туда-сюда информации выросли в миллионы раз без какого-либо качественного результата. Робот нашел вакансию — робот адаптировал резюме — робот сделал рассылку — другой робот прочитал- выкинул в корзинку-направил отказ. Рекрутер бъётся об стенку — никого нет, а те кто прошёл все фильтры — полный неадекват. Соискатель не понимает, почему он не может найти работу.
И вот оно — прилетело как доказательство (13.07.2016): «Зарегистрировался очень давно на Superjob в качестве работодателя, аккаунтом не пользовался много лет. Сегодня получил на почту такое письмо: «Вам нужен HR-bot? Закажите его разработку Superjob! Чат-бот от Superjob уже подбирает сотрудников «Связному» в Telegram: в день @Svyaznoyhrbot проводит сотни собеседований и получает десятки контактов. HR-бот не просто задает кандидату вопросы, подготовленные при помощи его будущих руководителей, но и дает обратную связь. Срок разработки и запуска бота после согласования технического задания — 7 рабочих дней.»
И ещё — (19.08.16): «Почта-банку потребуется автоматизация как массового найма, так и профессионального. Это будет достигаться за счет перевода традиционных этапов найма в онлайн-формат. Так, система Skillaz будет использовать автоматическую оценку и сбор резюме с открытого рынка, диалоговые тренажеры, тесты с автоматической оценкой кандидата на психологические и профессиональные навыки, видео- и аудиоинтервью»
(http://www.kommersant.ru/doc/3066680).
3. Сегодня, чтобы выжить, вы должны уметь придумать, как обмануть информационную систему. Для этого надо представить себе того ублюдочного кодера, который выродил этот говнокод, и его образ мышления. По моему опыту, сегодня оно на уровне простейших рефлексов животного уровня мыши или кролика. Скоро будут пользоваться популярностью курсы типа: «Как стать успешным и выжить в современном киберпространстве».
4. Есть еще одна беда: раньше было принято информировать пользователей об изменениях в программном обеспечении. Типа, вот теперь вы должны делать это так и так. Фильмики снимали, как освоить новизну. На трубе размещали. Ссылочки давали. Вот жисть была! А теперь Вы чувствуете себя как лабораторная мышь — и фактически ею являетесь. Вас никто не спрашивает. Обновления загружаются автоматически, программа начинает работать по-другому. Ваша мышиная задача — найти выход в лабиринте костылей и велосипедов и не сдохнуть от эксперимента внедрения Agile. Впрочем, потери мышки никто не заметит. Вот когда они начнут дохнуть тыщями… хотя и тогда вряд ли что-то произойдет. Ну, закроется один сайт, начнет работать другой. Программеры перетекут туда и будут творить, творить…
5. Лет эдак 40-50 назад мы знали не меньше, чем сейчас, если считать объем информации. Да, не было мобильных телефонов, интернетов, а телевизор никто не смотрел по причине того, что смотреть там было нечего. Вместо интернета было издательство «Мир», книги которого надо было заказывать на почте по каталогу и ждать целый год. Но стоили они 1-2 рубля и на зарплату рядового инженера их можно было купить штук 100. Сейчас рядовой инженер для этого должен зарабатывать тысяч триста в месяц. Да он, может, столько и зарабатывает, беда только в том, что инженеров не осталось.
А тогда мы знали, как устроен карбюратор и радиоприёмник, и сами чинили всё, что нас окружало. То есть буквально всё. Весь мир вокруг был понятен и управляем, хотя и не простирался дальше соседней улицы. Сегодня мы можем открыть капот своего авто, глубокомысленно посмотреть на нечто и закрыть. Дай бог знать, куда бензин в неё заливать. Мы знаем очень много — но ни о чём. Телевизор работает потому, что на пульте нажимаем кнопки. Машина едет потому, что нажимаем на педаль — да скоро и этого не нужно будет. Наступает эра невыносимой легкости бытия…
6. Похоже, что развитие телекоммуникаций несовместимо с развитием разума. Поиск в Гугл заменяет нам учебники и годы труда на их изучение — стоит только набрать запрос. Правда, проверить правильность результата поиска никак не получится. Не всегда получится и понять смысл ответа. Но ведь это неважно. Вот и учёные обнаружили: развитие коллективного разума чревато сокращением интеллектуальных способностей у отдельно взятого индивида. Нейронные структуры, отвечающие за обучение, память и восприятие, у ос, живущих в одиночестве развиты намного сильнее, чем у тех, что проживали малыми группами или в сложных колониях. В последнем случае, осы и вовсе оказывались намного «глупее» своих собратьев-одиночек. Исследование
Статья про ос подтверждает тезис о том, что появление коллективного разума приводит к деградации индивидуального, что мы и видим сейчас в окружающей действительности. Лишите современного человека доступа к поисковикам в интернет, и проверьте его знания — его индивидуальный разум. И вы увидите, они очень невелики и в основном о том, какие кнопки на каком девайсе нажимать, чтобы получить еду.
А может быть, муравьи, пчёлы — это и есть цивилизации прошлых эпох, достигшие совершенства в своих коммуникациях? Когда коллективный разум окончательно победил индивидуальный?
7. «Да, обезьяньи высказывания просты — обычно в них от двух до пяти слов, — а словарный запас небогат. Самые продвинутые активно используют 400–500 слов, хотя понимают гораздо больше (впрочем, в пиджин-инглише всего около 600самостоятельных, несоставных слов — и это полноценный человеческий язык, на котором выходят газеты и вещают радиостанции).»(http://bit.ly/29W8Pa3). Мне тут вспомнилась статья о результатах последних вступительных экзаменов в МГУ? http://bit.ly/29JPb4f
8. А вообще искусственный интеллект отличается от натурального точно так же, как надувная женщина отличается от настоящей:)
Доподнительная информация по теме
20.09.2018 «AI Systems Quietly Take Full Control Of Human Destiny» — и вот, что называется, ещё до одного дошло. Когда в стену лбом. С размаху. В переводе на наш: «Системы искусственного интеллекта потихоньку берут в свои руки судьбу человека»
Цитата: «John Naish recounts an anecdote where, because he was once a motoring journalist, the AI software at his insurance company decided he was likely to know Jeremy Clarkson, and therefore might give him a lift in his car and drive dangerously. His insurance application was rejected! And of course, he complained but was told that given the same “Automated Decision Engine” was used across the industry, he was going to be screwed for insurance all over.»
В переводе на понятный. Парень захотел застраховаться. Но поскольку он автомобильный журналист, система AI решила, что он может быть знаком (заметьте: может быть!) с другим журналистом, который может его подвезти и при этом может поехать слишком резво . И поэтому система решила, что не стоит продавать ему страховой полис. ПНХ. А поскольку страховые компании обмениваются рейтингами клиентов, то его послали ПНХ и все остальные страховые компании. Всё. Сказке конец.
Законодательство о правилах взаимодействия человека и принимающих решения систем отстаёт от реальности лет на 20. Только-только принимаются законы в области защиты и доступа к персональным данным, хотя это надо было сделать как минимум 10 лет назад, а по-хорошему — 20.
То же самое с системами, которые все называют «искусственный интеллект», хотя никакой это не интеллект вообще. Нужно срочно ввести в право нормы, по которым решение, принятое любой системой, может быть обжаловано, и в случае нанесения ущерба неверно принятым решением человеку, наступает ответственность того, кто «автоматизировал» процесс принятия решений.
06.07.2019 Независимое исследование показало, что 81% людей, которые распознаны уличной системой автоматического распознавания лиц в Лондоне как возможные подозреваемые, оказались невиновными. То есть 4 из пяти опознанных «искусственным интеллектом» как опасные преступники были ни в чём не виноваты. Это так называемая ошибка «false positive». А сколько настоящих преступников остались неузнанными-нераспознанными?
Наверное, ещё несколько лет — и после появления 3D видеокамер, мощных алгоритмов и железа, встроенного в каждую камеру, надёжность распознавания повысится до хотя бы 80%. А пока — делите на 1000 обещания чудес науки и техники от продавцов воздуха под названием «искусственный интеллект».
