Интересный вопрос о доверии вычислительным устройствам: насколько можно им доверять, можно ли им доверять, если это объекты? А если рассматривать вычислительные системы как институты, институты общества, а может институты власти? Вероятно в заголовке сегодняшней новости произошла как раз подмена одного другим, когда было сказано, что в новом исследовании сотрудников университета Джорджии было показано, то современные люди доверяют вычислительным (компьютерным) алгоритмам больше, чем советам друзей и родственников. Может быть люди всё-таки доверяют скорее не простым алгоритмам, а именно вычислительным системам, организациям, которые стоят за производством и отладкой микросхем, наполнением их вычислительной жизнью? И не закралась ли здесь ошибка в заголовок и перепечатку данных? Итак, проведём небольшой эксперимент и попытаемся узнать на основе исходной статьи, правильно ли была она понята журналистами и как сами исследователи истолковывали итоги своего исследования.

Для этого обратимся к исходной статье [1, см. условия использования в списке использованных источников]в журнале «Природа» (англ. «Nature»). Первое, что можно отметить ещё из чтения самой новости на русском состоит в том, что эксперимент рассматривал некоторый отдельный алгоритм оценки количества людей на снимке, поэтому можно говорить скорее о доверии к алгоритму при данных условиях эксперимента (а он был проведён через Всемирную сеть). Точнее при чтении уже самой статьи обнаруживается, что эксперимента было проведено три с разной сложностью заданий для испытуемых и заключались они в оценке советов через Всемирную сеть. Также журналисты утаили и весомое противоположный вывод исследователей: испытуемые не только сильнее доверяют советам алгоритмов, но и одновременно сильнее не доверяют им. Абсурд и противоречивость? Нет, всего лишь журналистика, перепечатывающая и переформулирующая научные новости. В действительности в данном эксперимент важно не просто некоторая идея «доверия», а восприятие правильности: воспринятые как неправильные «советы» алгоритмов отвергались людьми в большей степени, чем советы от других людей (то есть точно так же, как и в большей степени принимались советы от алгоритмов, воспринятые правильными). Естественно такое положение означает, что говорить о том, что люди доверяют алгоритмам больше, чем людям — это значит скрыть и исказить то, о чём говорится в исследовании. Правда вызывает удивление, что и название исходной статьи на английском несёт ту же самую половинчатость. Вывод можно сделать один — лучше ограничиться исходными краткими описаниями статей, чем перепечатками, которые сегодня часто происходят по схеме: иноязычный журнал или другой источник — иноязычная журналистская статья — местная статья — её перепечатки — сводка новостей. Совсем не удивительно, что получаемая на выходе из такой цепочки информация оказывается весьма противоречивой, если не сказать больше, тогда как ценность таких цепочек может состоять скорее только в том, что они показывают какие темы интересуют читателей (даже если эти темы искажены).

Но вернёмся к исходной статье, которая в сущности как раз и поднимает ту же самую проблему, заложницей которой она становится: воздействие алгоритмов, дающих рекомендации, советы людям, и автоматизированных информационных источников на сознание людей. Во введении авторы указывают, что для аналитических исследований алгоритмы сегодня действительно оказываются порой лучше, чем человеческие предсказания и суждения. Далее они приводят ссылки на исследования в этой области, то есть изучающие какие факторы влияют на доверие-недоверие людей к советам. Источник совета как раз и является одним из таких факторов. При этом авторы указывают, что в целом сложилось мнение как по поводу наличия явления приятия алгоритмов  (англ. algorithmic appreciation), так и враждебности к алгоритмам (англ. algorithmic aversion): в первом случае люди оказываются более привержены (лояльны) алгоритмам, дающим ложные, ошибочные или по-иному способные вызывать недоверие советы, чем людям (предлагающим такой же степени ложные, ошибочные или по-иному подозрительные советы), а во втором — наоборот. Далее авторы формулируют цель исследования: она состоит в изучении как приятия, так и враждебности к алгоритмам в зависимости от сложности задачи с оценкой важности именно этого отдельного фактора(поскольку именно для этого фактора не было данных в отношении обоих явлений).

Само исследование представлено несколько запутано для широкой аудитории, поскольку основное описание и формулировка гипотез вынесены из основного текста в приложение, оценка идёт на основе специальной методики проведения экспериментов, заключающейся в том, что сначала испытуемому предлагается ответить на вопрос, а потом возникает необходимость воспользоваться советом (подход называется «Система судья-советчик», англ. «Judge-Advisor System»), а ко всему этому авторы пытаются рассмотреть как поведенческую, так и мыслительную (когнитивную) сторону происходящего. Проверяемые 6 гипотез дополнялись в процессе исследования ещё четырьмя, а само исследование включало 3 этапа и до 6 объяснительных моделей. Этапы (эксперименты) представляли собой отдельные выборки из порядка 500 уникальных участников (участники не повторялись для разных этапов), каждому участнику показывались 10 картинок со случайной сложностью — требовалось оценить от 15 до 5000 человек. На первых двух этапах советы были всегда правильными, отличие между этапами состояло в том, показывались ли одному участнику советы из одного вида источника или из смешанных (как «советы алгоритмов», так и «советы других людей» или толпы). «Источник совета», показываемый испытуемым, был лишь выдуманной информацией, на самом деле источником был исходный набор данных с оценками количества людей экспертами (а не толпой). 3 этап отличался тем, что советы были неправильными. Получается, что это скорее некоторая исследовательская программа из 3 экспериментов и совокупностью множества гипотез, впрочем для оценки того, что же написали в итоге журналисты такая многозначная статья годится как нельзя лучше.

Авторы сводят в приложении к статье исходные гипотезы в 6 групп с указанием того, подтвердились они или нет (собственно представление эта сводная таблица выглядит как подарок для журналистов, но они почему-то им не воспользовались, может быть потому что она приведена в дополнительных материалах под номером S10). Основными подтверждёнными гипотезами стали следующие:

• советы алгоритмов обладают большим приятием при увеличении сложности заданий;

• низкокачественный совет снижает в будущем доверие к источнику советов;

• низкокачественный совет сильнее снижает доверие к источнику советов для простых вопросов, чем для сложных¹.

2 вывод представляется вполне очевидным, 3 также вполне вписывается в представление о том, что для оценки 15 человек неправильного советчика проще разоблачить, чем при оценке снимка 5000 человек. Значение же первой подтверждённой гипотезы состоит именно в том, что приятие алгоритмов в первую очередь важно именно для сложных заданий, если не сказать что практически только для сложных, что подтверждают и авторы: «Результаты 2 эксперимента показывают, что имеется чистый эффект приятия алгоритмов, но положительное воздействие вызвано целиком доверием к алгоритмам для сложных проблем» (англ. «The results indicate that there is a net effect of algorithmic appreciation, but that a positive impact is driven entirely by a reliance on algorithms for hard problems.»)[1].

Предположение о том, что более умелые для данного задания испытуемые должны сильнее полагаться на советы алгоритмов, чем на советы людей было опровергнуто. Отрицательный результат как известно — тоже результат, а в данном случае это весьма важный результат, который можно расценивать как то, что скорее неуверенные в своих навыках люди привыкают полагаться на технику (с неизвестными алгоритмами и принципами устройства, чёрные ящики). Такой вывод правда сами авторы не представили.

Интересно, что в отношении враждебности к алгоритмам когда советы были низкокачественными, были получены противоречивые результаты по разным критериям, что следовательно требует крайней аккуратности при рассмотрении. По тексту авторы приводят различные трактовки и предположения в отношении результатов, но тем не менее в основной статье появляется ещё одна таблица с 4 основными выводами, в которой данная гипотеза отмечена как подтверждённая (хотя насколько я вижу она была подтверждена только по одному из критериев). Кроме того, выводы авторов в статье выглядят неоднозначными, потому что они называют указанные задачи по оценке числа людей на изображениях «интеллектуальными». Вероятно корректнее было бы говорить о заданиях по обработке изображений или наблюдению, но употребление словосочетания интеллектуальные задания (англ. «intellective tasks») в данном случае может вызвать не только однобокие журналистские обзоры, но и некорректное применение выводов этого исследования, например, если в какой-нибудь другой статье будет сделана ссылка на такое исследование, как подтвердившее некоторые гипотезы для «интеллектуальных заданий» на основе Системы судья-советчик и эти выводы будут обобщены на какую-нибудь систему правовых или медицинских советов. Это словосочетание достигает верха неоднозначности, если не абсудрдности в форме «сложные интеллектуальные задания» (англ. «difficult intellective tasks»), хотя речь идёт всего лишь об оценки большого числа людей на картинке. Понятно, что рассмотренные в статье задания совсем не связаны с интеллектуальной или творческой деятельностью, а скорее касаются простого восприятия. Но авторы тем не менее в выводах применяют результаты исследований для рассуждений о применении машинного обучения (точнее они пишут AI, что само по себе вызывает вопросы, поскольку «искусственный интеллект» — весьма неоднозначное в современной информационной науке понятие) к общественным проблемам и говорят, что лица, принимающие решения должны помнить о том, что они склонны доверять алгоритмам в большей степени для более сложных вопросов[1]. Но такой вывод выглядит весьма и весьма спорно по указанным мною причинам. Как говорится, в восприятии новостей и даже самих статей в этой области или можно сказать, что этот вопрос требует дальнейших исследований, желательно аккуратных. Пока же можно сделать вывод, что задача классификации исследований представляется действительно сложной интеллектуальной проблемой, требующей порой пересмотра формулировок авторов и тем более журналистов, поэтому доверие таких заданий алгоритмам возможно, только если эти алгоритмы способны анализировать речь и сопоставлять выводы по тексту, в таблицах и наборах данных.

В заключение остаётся просмотреть журналистские обзоры (перепечатки выводов) для подтверждения в свою очередь нашей метагипотезы о том, что статьи подвержены серьёзным искажениям по мере увеличения неоднозначности выводов исходного материала и количества перепечаток, хотя наша выборка здесь ограничена одной статьёй, но я также полагаюсь на собственный опыт множества других статей, читатели могут также обратиться к ежедневным новостям на собирателях новостей и выбрать случайным образом подходящие научные статьи. Для этого из около 25 перепечаток отберём последовательно каждую 5, начиная с наиболее ранней. В результате просмотра выяснилось, что в итоговых материалах почти не содержится правильных выводов, а порой они составлены из видимо выдуманных перепечатчиками фактов с тем, чтобы их перепечатка отличалась от исходной. Одним из таких выводов стало утверждение о том, что якобы учёные из университета Джорджии пришли к выводу, что вычислительные устройства начинают управлять людьми. Из просмотренных мною 5 обзоров 4 однозначно можно рассматривать как «мусор», один из обзоров же был весьма точен. На основе этого можно сделать предварительное предположение о том, что 80 % новостных русскоязычных (а вероятно и на других языках также) узлов (сетевых новостных источников), публикующих новости в категории «научные», можно отнести к категории откровенно недостоверных и их деятельность можно считать общественно бесполезной, если не вредной, а с другой стороны, что существует некоторое число относительно качественных источников. Такое разделение позволяет создать классификатор новостных узлов на основе случайной выборочной оценки их содержимого.

Использованные источники

1. Bogert, E., Schecter, A. & Watson, R.T. Humans rely more on algorithms than social influence as a task becomes more difficult. Sci Rep 11, 8028 (2021). https://doi.org/10.1038/s41598-021-87480-9 — по тексту использованы переведённые выдержи из статьи на условиях CC BY 4.0.

2. Новостной обобщатель Яндекса.

3. Узлы-распространители «научных» новостей.