В данной статье рассматриваются основные проблемы внедрения искусственного интеллекта в государственные закупки, а также рекомендации по их решению. Институциональные структуры могут использовать инновациям в области закупок, если будет учитывать специфику систем искусственного интеллекта.
Ключевые слова: искусственный интеллект, государственные услуги, машинное обучение, государственные институты
Искусственный интеллект (ИИ) обладает огромным потенциалом для учреждений государственного сектора по всему миру для улучшения деятельности правительства, а также обслуживания граждан. Но у правительств не обязательно есть опыт в приобретении современных решений ИИ, и они могут проявлять осторожность в использовании новых технологий.
Такие международные организация как Всемирный Экономический Форум (WEF) и компаний Deloitte и Splunk сформировали ряд шагов к использованию ИИ в государственных закупках в своем руководстве по государственным закупкам – «AI Procurement in a Box: AI Government Procurement Guidelines».
В данной статье рассмотрим основные моменты, которые рекомендуются странам для введения ИИ в систему государственных закупок.
Что такое искусственный интеллект? Существует большая неопределенность в отношении того, что представляет собой система искусственного интеллекта (далее ИИ) или даже то, что в первую очередь следует считать алгоритмом. Например, недавний «алгоритм», который использовался в Стэнфордской медицинской школе для распределения доз вакцины против COVID, по сути, представлял собой разработанный человеком набор критериев принятия решений, а не сложную систему, обученную на доступных данных. В целях обсуждения вопросов, связанных с закупками, полезно рассматривать ИИ в более широком смысле как «автоматизированные системы принятия решений» (ADS). Эти системы принятия решений включают «любые системы, программное обеспечение или процессы, которые используют вычисления для поддержки или замены государственных решений, суждений и/или реализации политики, которые влияют на возможности, доступ, свободы, права и/или безопасность». Тот факт, что эти системы все чаще внедряются в государственные функции по всему миру или даже заменяют их, имеет решающее значение для понимания того, почему они создают серьезные проблемы для текущих процессов закупок. Системы ИИ обычно оптимизируются для определенной цели, и то, насколько хорошо эта цель соответствует конечной функции, для которой они развернуты, может значительно измениться. У них есть потенциал для улучшения процессов государственных учреждений и их взаимодействия с гражданами, например, путем использования чат-ботов для облегчения общения и поиска информации. Они также несут в себе риски — например, система распознавания лиц полицией ошибочно идентифицирует человека как преступника, что приводит к его неправомерному аресту.
Решения ИИ, которые можно быстро внедрить, обычно предоставляются частными компаниями. По мере того, как все больше и больше аспектов государственной службы внедряются в системы искусственного интеллекта и другие технологии, предоставляемые частными компаниями, мы наблюдаем растущую сеть частной инфраструктуры. Поскольку государственные органы передают на аутсорсинг критически важные технологические, инфраструктуры (такой как хранение данных и облачные системы для обмена и анализа данных) частным компаниям под видом модернизации государственных услуг, мы видим тенденцию к потере контроля над критически важной инфраструктурой и снижению ответственности перед общественностью, которая на нее опирается. В отличие от частных компаний, которые несут ответственность за обслуживание своих акционеров и получение прибыли, государственные организации должны учитывать все свое население при предоставлении решения, и им поручено смягчать вред, наносимый ИИ сообществам, которым они служат.
Остаются две проблемы:
Использование ИИ государством отличается. Правительственное использование алгоритмической системы принятия решений предъявляет иные требования, чем продукт для частного использования. Хотя ожидается, что технология, созданная для общественного пользования, сможет удовлетворить потребности всех граждан, это не обязательно является ожиданием продуктов, созданных в частном порядке; на самом деле, многие продукты предназначены специально для определенной аудитории, а затем распространяются на более широкую группу пользователей. Этот разрыв редко учитывается.
Общественное использование имеет более высокие стандарты соответствия. Технологии общественного пользования подпадают под другие требования и юридические критерии, чем большинство технологий частного использования.
«Государственные закупки» — одна из наиболее нагруженных законами и зарегулированных сфер государственного управления. Как правило, деятельность по государственным закупкам изложена в руководствах по закупкам государственных органов и организаций. Отсутствие четкой структуры государственных закупок может усложнить разработку механизмов подотчетности, которые охватывают все организации.
В учебнике «AI and Procurement Primer» (Учебник по искусственному интеллекту и закупкам) Нью Йоркского университета авторы выделяют шесть проблем:
Пространство ИИ в целом сталкивается со множеством терминов, которые остаются неопределенными. Первый набор проблем с определениями относится к технологиям и процедурам: не существует согласованного понятия ИИ или даже алгоритма. Это может помешать, например, каталогизации существующих социотехнических систем в правительстве, а также развитию инноваций в области закупок, характерных для этих технологий. Агентства и местные органы власти иногда определяют эти технологии для себя, например, в реестрах или отчетах о соответствии, или как часть нового регулирования, но межведомственная координация отсутствует. Точно так же не существует согласованных определений и процедур оценки или аудита воздействия ИИ и рисков. Второй набор проблем с определениями относится к правовым рамкам и принципам, в частности к справедливости. Существуют совершенно разные представления о том, что представляет собой справедливость в контексте ИИ. Чтобы прийти к рабочему определению справедливости, которая действительно является справедливой, необходимо включить тех, кто пострадал от несправедливости ИИ. Третий набор проблем с определениями относится к метрикам, и особенно метрикам успеха, как для системы ИИ, так и для процесса, посредством которого она была приобретена. Может быть отсутствие соответствующих метрик успеха, или метрики успеха могут быть противоречивыми. Например, модели обнаружения финансового мошенничества измеряют успех на основе выявления аномального поведения (например, ненормального для человека), которое может означать (но не ограничиваться) мошенническое поведение. Любой, чья кредитная карта была заморожена во время отпуска, вероятно, оценит это отличие. Эти системы используются не только банками, государственные учреждения также могут использовать их для обнаружения мошенничества с пособиями. В то время как техническое определение успеха может развиваться вокруг обнаружения как можно большего количества мошенничества, практическое определение успеха может заключаться в обнаружении только тех случаев, которые с наибольшей вероятностью представляют собой мошенничество.
По таким же методикам можно будет вычислить потенциально нужные компании и отсеивать компании которые имеют плохую репутацию имеющие большой риск злоупотребления государственными закупками.
Процесс закупок был разработан таким образом, чтобы предотвратить злоупотребления, но в результате он содержит укрепленные наборы процедур, которые, как правило, позволяют только крупным поставщикам соответствовать стандартам и конкурировать за государственные контракты. Долгосрочные контракты, возникающие в результате этих наборов процедур, закрепляются в государственных учреждениях на протяжении многих лет и могут создавать зависимости от процедур.
Эти зависимости могут также распространяться на недавно появившуюся область алгоритмического аудита, где крупные поставщики, у которых уже есть контракты с государственными учреждениями, добавляют алгоритмический аудит в свой портфель услуг, стимулируя государственные учреждения заключать контракты на эти услуги через своих существующих поставщиков. Напряженность в процессе закупок также возникает в связи с узкими местами, которые могут существовать при закупках различных услуг, например, когда возникают задержки или искажения на одном из этапов закупок (в частности, запрос предложений, выбор поставщиков, заключение контрактов и исполнение). По мере того, как непропорциональное влияние систем ИИ на отдельных граждан и сообщества становится все более очевидным, также возникает острая необходимость определить, в какой момент в процессе закупок необходимо проводить оценку рисков и воздействия, что главное, должен также включать в себя этап исполнения.
Рис. 1. Матрица закупочной деятельности
Как показано в матрице закупочной деятельности разные типы задач требуют разного уровня экспертной квалификации и объема работ. Поскольку процесс закупок перестраивается, необходимо определить точки, в которых могут происходить и интегрироваться экспертиза участия общественности и аргументированное обсуждение.
Стимулы, лежащие в основе как процесса закупок в целом, так и различных организаций, которые объединяются в рамках закупок, могут нанести ущерб созданию структур оценки воздействия ИИ. Продавцы руководствуются капиталистическими стимулами и ориентированы на получение прибыли при предложении своих услуг государственным организациям. Основная ответственность большинства поставщиков лежит на акционерах, а не на клиентах или людях, которые пользуются их услугами и системами. Это означает, что нынешние процедурные и культурные установки закупок поддерживаются структурами стимулирования, которые не способствуют мерам по защите населения или смягчению алгоритмического вреда, не в последнюю очередь потому что они потенциально могут замедлить процесс закупок. На этом этапе стимулы правительства и поставщиков фактически согласованы: оба заинтересованы в том, чтобы быстро решить проблему и передать ее по контракту, как только она будет определена и бюджеты будут утверждены. Оба участника также заинтересованы в том, чтобы представить технологическое решение как наиболее эффективное решение любой конкретной проблемы. Государственные служащие, которым поручено управлять процессом закупок, также не могут быть заинтересованы в изменении процесса закупок, чтобы учесть потенциальный вред технологий ИИ. Их задача — закупать как можно эффективнее, нет организационного или карьерного вознаграждения за изменение существующих процедур.
Институциональная структура правительства может бросить вызов инновациям в области закупок, чтобы учесть специфику систем ИИ, особенно когда речь идет о сроках решения проблем и реализации таких инноваций. По словам бывшего главного ученого США по данным DJ Patil, государственная политика обычно разрабатывается в течение 10 лет. Политики стремятся оказывать влияние в течение своего (гораздо более короткого) пребывания в должности, часто с целью переизбрания. Индустрия движется еще более быстрыми темпами. Политики и индустрия сходятся в скорости, когда лица, принимающие решения, сталкиваются с необходимостью решать проблемы в рамках своих полномочий, что не обязательно совпадает с организационными приоритетами и временными рамками правительства. Другая проблема заключается в том, что «правительство» часто рассматривается как нечто монолитное, исключающее другие формы правления из обсуждения и, следовательно, из усилий по внедрению инноваций. Кроме того, способы организации закупок в настоящее время могут свести на нет и лишить инфраструктурный суверенитет.
Закупки являются воротами для внедрения технологической инфраструктуры и, следовательно, имеют долгосрочные последствия для городов, сообществ и самих агентств. Из-за нехватки мощностей и/или ресурсов для создания собственных технологий закупки предполагают создание крупномасштабной технологической инфраструктуры, включая ИИ, через частных поставщиков. Эта динамика не способствует, а препятствует прозрачности: часто защищенные торговым законодательством, частные поставщики не обязаны открывать «черный ящик» и делиться информацией о своих обучающих данных или своих моделях. Соответственно, обещанный результат или повествование часто рассматриваются как более важные, чем технологическая основа. Эти обещанные результаты и нарративы часто являются точкой соприкосновения для агентств и частного сектора, и к ним относятся с более высоким приоритетом, чем установление подотчетности в процессе закупок, например, в контексте чрезвычайной климатической ситуации и «чистых технологий» или технологии, которые развернуты для управления общественным здравоохранением в контексте пандемии COVID-19.
Системы ИИ, реализованные таким образом и способные причинить вред сообществам, например, из-за чрезмерного наблюдения и полицейской деятельности, становятся инфраструктурными и, следовательно, вряд ли могут быть демонтированы, даже если вред доказан, например, в контексте умные датчики, установленные в уличных фонарях. Повышение прозрачности и надзора в процессе закупок (по сравнению с вниманием к перспективам технологии) может предотвратить внедрение ИИ- инфраструктур, которые могут оказаться вредными по замыслу. Агентствам нужны ресурсы для повышения уровня грамотности и расширения возможностей в отношении последствий приобретения систем ИИ, что включает в себя обмен знаниями между агентствами.
Растущая потребность в разработке и обеспечении соблюдения структур подотчетности в контексте закупки и развертывания систем ИИ государственными учреждениями предполагает, что указанные процессы следует пере структурировать, чтобы государственные учреждения могли быстрее и с большей уверенностью понять компромиссы и преимущества систем ИИ. Должно быть достаточно времени, чтобы определить и задокументировать проблему, которую должна решать система ИИ, и то, как она должна ее решать. Затронутые сообщества должны быть услышаны. Новое законодательство в области искусственного интеллекта как на национальном, так и на международном уровне (например, новый регламент ЕС по искусственному интеллекту) должно быть эффективно освоено и преобразовано в изменения в разработке, закупках и использовании искусственного интеллекта. Работы в направлении этого процесса может создать пространство для развития понятия коллективной подотчетности за счет инноваций в закупках ИИ, благодаря которым государственные учреждения, как покупатели, могут расширять свои полномочия, требуя подотчетности и прозрачности поставщиков, и где агентства могут вернуться и повторить, когда возникают проблемы. Это новое определение должно напомнить, что политические решения часто закодированы в определении и построении систем ИИ, и поэтому закупка этих систем должна осуществляться с учетом нюансов и учета других политических определений.
Инновации в сфере закупок невозможны без учета правовых последствий, в частности, касающихся защиты закупающих организаций от ответственности. Государственные службы часто придерживаются более высоких стандартов в отношении своих услуг и результатов, чем частные компании, а обязательства часто рассматриваются как чистый риск, а не как адаптивная основа для управления рисками. Кроме того, влияние систем ИИ создает новые сложности, которые бросают вызов существующей практике и режимам ответственности. В настоящее время практически нет значимых законодательных гарантий для защиты от развивающегося дискриминационного воздействия систем ИИ, таких как нарушение прав человека или антидискриминационных законов. Даже когда на государственные учреждения распространяются юридические обязательства, касающиеся ИИ или других технологий, эти обязательства не обязательно учитываются частными компаниями при разработке и тестировании технологического продукта для использования в государственном секторе. Скорее, компании, как правило, используют пространства с небольшой защитой граждан и государственного сектора в качестве испытательного полигона без ответственности. Технологии, которые тестируются в этих свободных от ответственности пространствах, затем развертываются местными агентствами. Кроме того, неотъемлемая неопределенность в отношении возможностей и функций (ex ante) и воздействия (ex post) систем ИИ может потребовать переоценки распределения обязательств по цепочкам поставок ИИ. У прямых подрядчиков государственных учреждений может быть много разных поставщиков, что ставит под вопрос, кто несет ответственность за производительность развернутой системы ИИ. Важные меры, которые могут помочь добиться большей ясности в отношении распределения обязательств по этой цепочке поставок ИИ, включают в себя повышение ясности в применимых контрактах с поставщиками (например, распределение ответственности, гарантии, ясность в отношении защиты коммерческой тайны или страхование на случай инцидентов с ИИ); тщательная проверка поставщиков; мониторинг после развертывания; и стандарты качества.
Также в руководстве были сформированы ряд ключевых действий для внедрения ИИ в государственные закупки:
Необходимо улучшить коммуникацию и представление систем ИИ, а также рисков и вреда, которые они могут представлять. Сотрудники по закупкам, политики, граждане и поставщики должны лучше понимать, как отдельные ситуации, связанные с вредом и риском ИИ, связаны с более крупными структурными проблемами, и наоборот. Чтобы создать значимую прозрачность, необходимо установить стандарты для сообщения целей и предположений, заложенных в систему ИИ, а также рисков и вреда, которые может представлять система, наряду с рекомендациями по документации и ведению учета такого сообщения.
Существует потребность в межведомственном общении, а также в обмене и наращивании потенциала по вопросам, связанным с закупкой систем ИИ. Также необходимо более четко определить внутриведомственные обязанности по закупке систем ИИ и влияние, которое они могут оказать на граждан, а также на сами агентства. Ресурсы должны разрабатываться и совместно использоваться для поддержки отдельных лиц и сообществ в агентствах, которые работают над улучшением процессов закупок, чтобы уменьшить вред от ИИ. Точно так же должна быть предоставлена помощь сообществам за пределами агентств, которые сталкиваются с вредом и проблемами, связанными с ИИ. Эти ресурсы и возможности для наращивания потенциала должны быть объединены в сеть сотрудников по закупкам, исследователей искусственного интеллекта, представителей групп защиты интересов и т. д.
Сфера технологий, представляющих общественный интерес, значительно расширяется. Государственные учреждения все чаще используют технологии, в том числе системы искусственного интеллекта, во всех аспектах своей работы. Это означает, что существует растущая потребность в технологах, представляющих общественный интерес: профессионалах, обученных как техническим, так и социальным наукам и способных адекватно оценивать социальные последствия постоянно возникающих технологий. К счастью, среди следующего поколения технологов также растет желание заниматься значимой работой, учитывающей социальное влияние технологий. Поэтому крайне важно, чтобы этот талант культивировался рано и справедливо.
В то же время государственные учреждения и частный сектор должны сосредоточиться на создании целого ряда рабочих мест в сфере технологий, представляющих общественный интерес, нанимать и удерживать различные таланты на ранних этапах их карьеры, а также поддерживать команды, занимающиеся технологиями, представляющими общественный интерес, как внутри компании, так и за ее пределами.
Список литературы:
