Дипфейки и демократия (теория): как синтетические аудиовизуальные средства для дезинформации и разжигания ненависти угрожают основным демократическим функциям

Наблюдатели опасаются, что дипфейки пошатнут самые основы демократии. Тем не менее, глубокий научный анализ политического влияния дипфейков проводится редко и не рассматривает теории демократии. Этот вклад помогает закрыть этот пробел в исследованиях, опираясь на теорию проблемно-ориентированной демократии Уоррена, а также теории совещательной демократии и вклады в роль доверия в демократиях. Я выделяю три основные функции демократических систем и их нормативные основы, а именно полномочное включение, коллективную повестку дня и формирование воли (поддерживаемое обсуждением) и коллективное принятие решений. Основываясь на анализе литературы и средств массовой информации, я систематизирую различные типы дипфейков, служащих либо дезинформации, либо разжиганию ненависти, и описываю, как они ослабляют основные демократические функции и нормы: Дипфейки препятствуют полному включению граждан в дебаты и решения, которые их затрагивают, например, препятствуя усилиям по привлечению к ответственности политических представителей или дальнейшей маргинализации определенных социальных групп, таких как женщины или этнические меньшинства. Дипфейки также подрывают коллективную повестку дня и формирование воли, угрожая эпистемическому качеству обсуждения, а также взаимному сочувствию и уважению граждан. Кульминацией этого является снижение легитимности принимаемых коллективных решений, чему дополнительно угрожают всепроникающие (но в основном спекулятивные) страхи перед дипфейковыми манипуляциями на выборах. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов. препятствуя усилиям по привлечению к ответственности политических представителей или дальнейшей маргинализации определенных социальных групп, таких как женщины или этнические меньшинства. Дипфейки также подрывают коллективную повестку дня и формирование воли, угрожая эпистемическому качеству обсуждения, а также взаимному сочувствию и уважению граждан. Кульминацией этого является снижение легитимности принимаемых коллективных решений, чему дополнительно угрожают всепроникающие (но в основном спекулятивные) страхи перед дипфейковыми манипуляциями на выборах. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов. препятствуя усилиям по привлечению к ответственности политических представителей или дальнейшей маргинализации определенных социальных групп, таких как женщины или этнические меньшинства. Дипфейки также подрывают коллективную повестку дня и формирование воли, угрожая эпистемическому качеству обсуждения, а также взаимному сочувствию и уважению граждан. Кульминацией этого является снижение легитимности принимаемых коллективных решений, чему дополнительно угрожают всепроникающие (но в основном спекулятивные) страхи перед дипфейковыми манипуляциями на выборах. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов. Дипфейки также подрывают коллективную повестку дня и формирование воли, угрожая эпистемическому качеству обсуждения, а также взаимному сочувствию и уважению граждан. Кульминацией этого является снижение легитимности принимаемых коллективных решений, чему дополнительно угрожают всепроникающие (но в основном спекулятивные) страхи перед дипфейковыми манипуляциями на выборах. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов. Дипфейки также подрывают коллективную повестку дня и формирование воли, угрожая эпистемическому качеству обсуждения, а также взаимному сочувствию и уважению граждан. Кульминацией этого является снижение легитимности принимаемых коллективных решений, чему дополнительно угрожают всепроникающие (но в основном спекулятивные) страхи перед дипфейковыми манипуляциями на выборах. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов. которому дополнительно угрожают всепроникающие (но в основном спекулятивные) опасения по поводу дипфейковых манипуляций с выборами. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов. которому дополнительно угрожают всепроникающие (но в основном спекулятивные) опасения по поводу дипфейковых манипуляций с выборами. Мой анализ имеет значение для (будущих) усилий управления по борьбе с дипфейками. Такие усилия возрастают, например, со стороны платформ социальных сетей, а также (над)национальных регулирующих органов.

В 2020 году дипфейки, то есть синтетические аудиовизуальные носители человеческих лиц, тел или голосов, часто создаются с использованием искусственного интеллекта (ИИ), 1 «стали популярными» (Hao & Heaven, 2020 ). Помимо поддельного порно, значительно возросло мирское и просоциальное использование, равно как и политическое применение технологии. Публичные дебаты о дипфейках сосредоточены в основном на этом (злонамеренном) политическом потенциале, как показывает недавний анализ дискурса (Gosse & Burkell, 2020 ). Политические аналитики опасаются «вызова правде в политике» дипфейков (Galston, 2020 ), правозащитные организации считают, что эта технология может быть использована авторитарными режимами (Gregory, 2021 ).), а журналисты даже видят угрозу демократии в целом (например, Frum, 2020 ; Parkin, 2019 ; Thomas, 2020 ).

Угроза, исходящая от дипфейков, не совсем нова. Манипулирование СМИ как с вредными, так и с благими намерениями так же старо, как и сами СМИ. Например, убедительное манипулирование изображениями имеет длинную траекторию для искусства, но также и для порнографии без согласия (Burkell & Gosse, 2019 ) и дезинформации, то есть «ложной, неточной или вводящей в заблуждение информации, разработанной, представленной и пропагандируемой с целью умышленного причинения общественного вреда или для прибыль» (HLEG, 2018 : 10). 2 В этом смысле дипфейки — всего лишь новое средство манипулирования СМИ. Тем не менее, технология развивается в информационной среде, которая уже сталкивается с проблемами из-за того, как (дез)информация передается и распространяется через социальные сети (Schick, 2020 ).). Такие характеристики дипфейков, как их растущее качество и убедительность, также усугубляют проблемы, связанные с манипулированием СМИ: в прошлом было трудно убедительно манипулировать аудио- и видеоматериалами, что повышало доверие к таким СМИ. Кроме того, аудио и видео «привлекают на интуитивном уровне больше, чем любой текст или изображение», и поэтому часто воспринимаются как особенно заслуживающие доверия (Kwok & Koh, 2020 : 1; см. также Kietzmann et al., 2020 ).: 136). ИИ теперь значительно упростил и улучшил манипулирование и синтез аудио и видео (а также изображений). Это выгодно, например, для коммерческого или художественного использования технологии дипфейков, но также увеличивает их обманчивый потенциал. Соответственно, в редком экспериментальном исследовании влияния дипфейков на политические взгляды менее пятнадцати процентов участников сомневались в подлинности видео дипфейков с показанным им политиком (Dobber et al., 2020 : 78). Повышение качества дипфейков также означает, что многие из них больше не могут быть обнаружены без технической поддержки, что усугубляет управление вредоносными дипфейками. Когда синтетические носители будут усовершенствованы, они больше не будут основываться на различимом аутентичном сырье (Diresta, 2020 ).), что еще больше усложняет их обнаружение и упрощает создание после завершения исходной модели. Помимо реализма, беспокойство вызывает доступность дипфейков: в отличие от более ранних форм изощренных манипуляций со СМИ, генерация дипфейков становится все более коммерциализированной и доступной даже для неспециалистов (Ajder et al., 2019 : 5). Доступность вызвала массовый всплеск дипфейков и новых приложений. Это включает в себя доброкачественное использование, но, например, также дипфейковое порно из мести, ставящее новые этические и социальные проблемы. Таким образом, дипфейки значительно усугубляют существующие (политические) опасения, связанные с манипулированием СМИ, и технический прогресс предполагает, что эта тенденция будет только продолжаться.

Таким образом, жизненно важно детально оценить социальное и политическое влияние дипфейков. Однако на сегодняшний день это сделали лишь немногие ученые и политологи. Исследования дипфейков в социальных и гуманитарных науках в целом редки и не связывают влияние дипфейков с основными демократическими нормами. Необходимы большая теоретическая база и концептуальная ясность, чтобы помочь определить и оценить вред (и потенциал) текущих и будущих приложений для дипфейков. Это также обеспечит более прочную основу для социальной и политической реакции на дипфейки. В роли Тенове ( 2020 г.: 520) утверждает, что в отношении дезинформации различное понимание угроз демократии «может быть использовано для разработки и оправдания совершенно разных политик». Эта политика, в свою очередь, приносит (не) преимущества различным субъектам и может сама по себе угрожать основным демократическим нормам. Таким образом, крайне важно указать демократические блага, которым угрожают дипфейки, чтобы разработать адекватные политические меры и защитить демократию.

Этот вклад пытается ответить на следующие исследовательские вопросы: (Как) Угрожают ли дипфейки демократии? На какие основополагающие нормативные товары или ценности они влияют? 3 Таким образом, влияние дипфейков сильно зависит от контекста их использования и стоящих за ним намерений. 4 Многие дипфейки, например, в сферах политической активности, искусства и образования, могут даже усилить демократические дебаты и институты (см. Pawelec, 2022 ). Тем не менее, эта статья явно фокусируется на вредном потенциале дипфейков для демократии, поскольку он находится в центре дебатов о дипфейках, но, тем не менее, остается недостаточно изученным.

Чтобы ответить на исследовательские вопросы статьи, я опираюсь на теорию системной демократии, которая определяет функции или нормативные блага, которые система должна реализовать, чтобы считаться демократической. Я объединяю «проблемный подход» Уоррена ( 2017 ) к теории демократии и теории совещательной демократии, в частности системный подход Мэнсбриджа и др. ( 2012 ). Я выделяю три основные демократические функции и их нормативные основы: демократические системы должны обеспечивать расширенное вовлечение, коллективную повестку дня и формирование воли, а также коллективное принятие решений. 5Обсуждение, с этой точки зрения, является социальной практикой, которая в основном поддерживает коллективную повестку дня и формирование воли и влечет за собой определенные эпистемические и этические преимущества. В этих рамках доверие также необходимо для обеспечения участия граждан в обсуждениях (что позволяет привлекать их полномочиями и формировать коллективные повестки дня) и обеспечивать эффективное принятие политических решений.

Основываясь на этой теоретической основе, я оцениваю утверждения о вредном политическом влиянии различных дипфейков. Я дополняю это техническим этическим анализом недавних случаев использования дипфейков. Таким образом, мой вклад оценивает большое количество литературы о влиянии дипфейков, которая разрознена, часто поверхностна и лишена этической или политологической направленности. Эмпирически анализ основан на более чем 300 академических публикациях, сообщениях в СМИ и интернет-публикациях. Он построен в соответствии с индуктивной систематизацией шести различных применений дипфейков и типов воздействия в политическом контексте: три вида использования дипфейков распространяют дезинформацию, служащую разным политическим целям (дипфейки для манипулирования выборами, целенаправленные атаки на политических оппонентов и иностранное вмешательство). Связанное с этим снижение доверия позволяет сомневаться или отрицать неудобные факты («дивиденды лжеца») и ослабляет средства массовой информации. Кроме того, я считаю порнографические и другие унизительные дипфейки без явной политической подоплеки.

Я утверждаю, что такие порнографические дипфейки политически значимы, поскольку они представляют собой разжигание ненависти. Мой анализ показывает, что они в основном угрожают основной демократической функции и норме полноправного включения. Он препятствует участию определенных социальных групп, в частности женщин, в общественной жизни, что усугубляет существующую дискриминацию.

Кроме того, как отечественные, так и иностранные субъекты создают дипфейки с целью дезинформации, часто в контексте выборов, но все чаще и для нацеливания, например, на критически настроенных журналистов и диссидентов. Такие дипфейки подрывают доверие к демократическим обществам. Они препятствуют включению, исключая граждан из соответствующих политических дебатов или кандидатов из выборов, маргинализируя определенные социальные группы или не позволяя гражданам голосовать. Они также угрожают уполномоченнымвключение, когда они искажают обсуждение, особенно во время выборов, до такой степени, что мешают гражданам принимать рациональные решения при голосовании и привлекать представителей к ответственности. Кроме того, дипфейковая дезинформация угрожает коллективной повестке дня и формированию воли, в основном из-за вливания лжи в демократическое обсуждение и, таким образом, эрозии эпистемологического качества. Кроме того, само существование дипфейков позволяет актерам стратегически отводить вину и отрицать неудобные факты. Поляризующие дипфейки также подрывают взаимное уважение, готовность учитывать противоположные мнения и аргументы и, таким образом, обсуждение. В совокупности эти последствия снижают легитимность коллективных решений. Кроме того, боязни дипфейков во время выборов достаточно, чтобы подорвать доверие к этой базовой демократической практике.

В заключение я определяю ограничения моего вклада и плодотворные направления для будущих исследований, в том числе более пристальное внимание к положительному политическому потенциалу дипфейков. Я также определяю ключевые последствия моего анализа для (будущих) усилий по управлению, направленных на решение проблем, которые дипфейки создают для демократии.

Дебаты о дипфейках и демократии

Несмотря на то, что средства массовой информации и политики уделяют огромное внимание потенциалу дипфейков для политических злоупотреблений, их глубокий анализ проводится редко. Они также в основном не подчеркивают поставленные на карту ценности и не основаны явно на теории демократии. Согласно недавнему систематическому обзору исследований дипфейков, опубликованному в 2018–2020 годах, большинство исследований основаны либо на компьютерных науках, либо на праве и сосредоточены либо на обнаружении, либо на регулировании дипфейков. Гуманитарные или социальные исследования проводятся редко (Godulla et al., 2021 : 82). 6 Философы недавно исследовали связь дипфейков с подлинностью (Floridi, 2018 ), присущую дипфейкам моральную неправоту (Ruiter, 2021 ) и «эпистемическую угрозу», которую они представляют (Fallis, 2020 ).). Однако, в то время как последний проливает свет на то, как дипфейки влияют на зрителей, он основан на теориях переноса информации, а не на теории демократии, и лишь бегло упоминает причиненный «эпистемический вред».

Вышеупомянутая обзорная статья также показывает, что большинство исследований дипфейков сосредоточено на рисках, связанных с дипфейками, включая вызовы для журналистики и доверие к (социальным) СМИ (Godulla et al., 2021 : 81, 85). Однако в отношении угроз «политическим кампаниям […], общественному мнению и […] доверию к институтам» в обзоре указан только один вклад, т. е. (Chesney & Citron, 2019 ). Следовательно, «контекст политических новостей и избирательных кампаний» рассматривается как важное направление для будущих исследований (там же: 91).

Чесни и Цитрон ( 2019 : 1758) представили «первое всестороннее исследование» вреда, причиняемого дипфейками, с акцентом на США. Их основополагающий вклад вводит термин «дивиденд лжеца» и дает представление, например, о гендерном измерении дипфейкового порно (там же: 1773). Он также ссылается на такие ценности, как автономия и неприкосновенность частной жизни, и подчеркивает зависимость функционирующего демократического дискурса от «общих фактов и истин» (там же: 1770, 1777). Однако он имеет юридическую направленность и не основан на четких этических рамках. Следовательно, он не раскрывает демократические нормы, которым угрожают дипфейки. 7

Точно так же в научно-популярной монографии о дипфейках консультант по вопросам политики Шик ( 2020 ) анализирует политические варианты использования, в том числе заставив замолчать индийского журналиста с помощью дипфейкового порно и дестабилизацию в Габоне, подпитываемую дипфейками. Шик также предсказывает новые опасности, такие как дипфейки, подрывающие доверие к аудиовизуальным доказательствам нарушений прав человека и увеличивающие дивиденды лжеца. Она предлагает широкий отчет о политическом влиянии дипфейков, но часто путает его с более общим анализом дезинформации. Ее отчет также не основан на явной теоретической основе или теории демократии.

Отчеты, например аналитических центров и стартапов, описывают политическое влияние дипфейков, опять же без явных ссылок на демократические нормы (например, Smith & Mansted, 2020 ; Ajder et al., 2019 ). В подробном отчете немецкого фонда Konrad-Adenauer-Stiftung и Counter Extremism Project об угрозе демократии, создаваемой дипфейками, описывается несколько случаев, когда дипфейки «нарушают демократические выборы и сеют гражданские беспорядки» (Farid & Schindler, 2020 ).: 24). Однако фактический анализ использования в политических целях занимает всего три страницы и не содержит ссылок на теорию демократии или основные демократические нормы (там же: 24–26). Вместо этого отчет направлен главным образом на стимулирование политических и общественных дебатов в Германии о противодействии дипфейкам. Точно так же исследование, подготовленное для Европейского парламента в 2021 году, охватывает технические, социальные и нормативные аспекты дипфейков (van Huijstee et al., 2021 ). В отчете обсуждается потенциальный «ущерб[ы] демократии» как один из нескольких «рисков[ов] общественного вреда», причиняемых дипфейками, опять же без ссылки на теорию демократии (там же: 31-34). Его основное внимание уделяется оценке существующего нормативного ландшафта и предложению вариантов политики регулирования на европейском уровне. 8

Напротив, Диакопулос и Джонсон ( 2019 ) стремятся обрисовать «этические последствия дипфейков в контексте выборов», используя упреждающий подход. Однако они подробно описывают развитие своего сценария, но основывают свои этические размышления только на методологической литературе по этике новых технологий, а не на четкой этической основе (там же: 5). Они также сосредоточены исключительно на (предстоящих) президентских выборах в США в 2020 году.

Джейман ( 2020 ) из «Программы защиты демократии» Microsoft в широком смысле стремится обсудить «этику дипфейков» в антологии аналитического центра. Однако он посвящает только один абзац анализу влияния дипфейков на демократию, неоднократно заявляя, что некоторые дипфейки являются «неэтичными» или «аморальными», не уточняя, какие нормативные блага поставлены на карту (там же: 77).

Обсуждая информационную войну и политическую подрывную деятельность, Патерсон и Хэнли ( 2020 : 448–449) утверждают, что дипфейки усугубят успех кампаний политической войны и помешают их обнаружению. Однако они приводят только один пример такого дипфейка (отредактированное видео спикера Палаты представителей США Нэнси Пелоси, там же: 448), и это видео, по сути, не дипфейк, а «дешевый фейк», т.е. видео, отредактированное менее сложными средствами, чем технология дипфейка.

В недавней публикации Этьен ( 2021 ) утверждает, что дипфейки не угрожают, а скорее могут повысить доверие в сети (я привожу этот аргумент в сноске 20). Хотя доверие имеет решающее значение для демократии, Этьен не связывает свои аргументы с теорией демократии.

Таким образом, необходимы дополнительные исследования дипфейков в области политологии, философии и прикладной этики. В частности, отсутствует глубокий анализ политического влияния дипфейков, связанных с теориями демократии 9 , ​​хотя их разрушительный потенциал для демократии, возможно, вызывает наибольший страх, связанный с технологией дипфейков. Настоящий вклад восполняет этот пробел в исследованиях.

Теоретическая основа

(Политические) Философы и другие мыслители уже давно занимаются обоснованием демократии (и связанных с ней политических идей) и ее нормативных основ. Чтобы обеспечить строгий анализ основных демократических норм, которым угрожают дипфейки, я не буду отслеживать и рассматривать их многочисленные и разнообразные теории. Вместо этого моя теоретическая основа вдохновлена ​​недавним вкладом Тенове ( 2020 ) о дезинформации и демократии, поскольку наиболее злонамеренное политическое использование дипфейков служит дезинформации как пример манипулирования СМИ с помощью новых средств. Тенове ( 2020 г.) стремится внести больше концептуальной и теоретической ясности в дискуссию о влиянии дезинформации на демократию, которой не хватает, несмотря на политическое распространение темы после выборов в США в 2016 году. Он основывается на системных подходах к демократической теории, которые определяют, какие нормативные блага должны поощрять политические системы, чтобы считаться демократическими, не отдавая приоритет отдельным благам (там же: 521). В частности, Тенове опирается на теорию проблемно-ориентированной демократии Уоррена ( 2017 ) и дополнительно рассматривает теории совещательной демократии.

Хотя я опираюсь на аналогичную теоретическую основу, основные демократические блага, которые я определяю, отличаются от тех, что предлагает Тенове. 10 Я более близко отношусь к исходной теории Уоррена и, например, уделяю больше внимания ценности расширенного включения. Я также более плавно интегрирую совещательную демократическую теорию в свою теоретическую основу и подчеркиваю роль доверия для демократии. 11 Это особенно важно, поскольку преобладают опасения, что дипфейки подорвут доверие к демократическим обществам, а также общую веру в определенные факты и согласие с ними.

Уоррен ( 2017 ) задается вопросом, какие проблемы политическая система должна решить, чтобы считаться демократической, т. е. какие «демократические функции» она должна выполнять (там же: 41–43). Одного существования определенных институтов или неформальных договоренностей недостаточно для того, чтобы система считалась демократической. Скорее, определенные практики и (не)формальные институты, такие как обсуждение или голосование, с их особыми достоинствами и недостатками служат или препятствуют реализации различных демократических функций (там же: 39).

Опираясь на то, что он считает степенью консенсуса среди теоретиков демократии, Уоррен предлагает три таких основных демократических функции и конкретизирует их нормативное содержание: системы должны обеспечивать расширенное участие, коллективную повестку дня и формирование воли, а также коллективное принятие решений (там же). Уполномоченное включение основано на нормативной идее о том, что те, на кого (потенциально) влияет коллективное решение, должны участвовать в его формировании (там же: 44). Помимо этого нормативного права, демократии также распределяют полномочия, которые позволяют пострадавшим требовать и обеспечивать такое участие, например, посредством голосования, представительства или объединения. Политическое равенство с точки зрения прав и защиты является здесь «основной демократической ценностью» (там же). Демократии также должны обеспечить коллективную повестку дня и формирование воли., т. е. перевод индивидуальных и групповых предпочтений, интересов и ценностей в коллективные планы и желания. Согласно Уоррену ( 2017 : 44), ссылаясь, например, на Хабермаса ( 1990 ) и Ролза ( 2001 ), это основано на моральных и этических соображениях, таких как необходимость взаимного признания, уважения и взаимности (что, в свою очередь, способствует обсуждению). ), а также справедливость. Наконец, демократии необходимо предоставить коллективам (не обязательно ограниченным национальными государствами) возможность принимать совместные решения по соответствующим вопросам ( коллективное принятие решений ; Уоррен, 2017 : 43). Это служит легитимности производительности или продукции (там же: 45). Уоррен ( 2017 г.: 45ff) затем определяет семь практик или социальных действий, которые способствуют трем демократическим функциям, включая голосование, представительство и обсуждение.

Что касается теории совещательной демократии, Уоррен ( 2017 : 40) утверждает, что это важная исследовательская парадигма, но она слишком подчеркивает значение обсуждения для демократии и, например, игнорирует голосование. Обсуждение может, но не обязательно способствует расширению полномочий или коллективному принятию решений. Его главная сила заключается в общении и, таким образом, в коллективной повестке дня и формировании воли (там же: 48) — оценка, отраженная, например, Хабермасом ( 2005 ).: 287) в разработке нормативной «теории дискурса». Таким образом, по мнению Уоррена, обсуждение как переговоры, обмен аргументами и торг является лишь одной из нескольких социальных практик, которые способствуют трем основным демократическим функциям. Однако, помимо содействия формированию коллективной воли (и повышения легитимности решений), Уоррен ( 2017 : 48) выделяет несколько других благ, которым способствует обсуждение, в частности «эпистемические блага» и «этические преимущества», такие как взаимное сопереживание и понимание.

Эта разработка служит для меня точкой отсчета, чтобы связать проблемный подход Уоррена с теорией совещательной демократии. Системные подходы к совещательной демократии рассматривают то, как идеал обсуждения функционирует в более крупных коллективах, и предполагают разделение совещательного труда между различными аренами и институтами (например, Chambers, 2017 ; Habermas, 2005 : 288; Mansbridge et al., 2012 : 9). 12 Хотя существует множество теорий совещательной демократии, Mansbridge et al. ( 2012 : 11–12) выделяют три нормативно значимые функции обсуждения, которые предположительно совершенно бесспорны: эпистемическую, этическую и демократическую функции.

Эпистемическая функция обсуждения заключается в формировании политических интересов, мнений и решений посредством рационального обсуждения и обмена идеями, основанными на фактах, логике и взаимном рассмотрении аргументов (там же: 11). Таким образом, как и Уоррен, Мэнсбридж и др. рассматривать эпистемическое качество как благо, которое следует из обдумывания (которое, в свою очередь, облегчает коллективную повестку дня и формирование воли, согласно Уоррену). Как и Уоррен, Мэнсбридж и др. также определить этическийфункцию обсуждения, а именно, способствовать «взаимному уважению» граждан. Эта этическая функция влечет за собой признание граждан автономными агентами, способными внести свой вклад в политический дискурс. В то же время взаимное уважение является неотъемлемым элементом обсуждения и предпосылкой эффективного общения (там же). Наконец, Мэнсбридж и соавт. ( 2012 : 12) видят демократическую функцию совещаний в поддержке инклюзивного и равноправного политического процесса — сродни функции уполномоченного включения Уоррена.

Однако, по словам Уоррена, обсуждение может, но не обязательно способствует включению уполномоченных, поскольку оно само по себе не узаконивает включение определенных групп в политический процесс или расширяет их возможности. Обсуждение в условиях перекоса власти может даже подорвать демократию (Warren, 2017 : 48). Это соответствует анализам, которые предполагают, что обдумывание усиливает асимметрию власти при определенных обстоятельствах (например, Lupia & Norton, 2017 ). Интересно, что Mansbridge et al. ( 2012 г.: 12) поддерживают эту оценку: вместо того, чтобы указывать, как обсуждение усиливает инклюзивность, они просто заявляют, что инклюзия — это «то, что делает совещательные демократические процессы демократичными». Таким образом, обе теоретические концепции указывают на то, что (уполномоченное) включение нормативно желательно в совещательных процессах, но что обсуждение не обязательно усиливает его.

Кроме того, для обсуждения необходима определенная степень доверия , поскольку она обеспечивает участие и вовлеченность граждан (Парвин, 2015 : 417). Доверие также необходимо для формирования информированной и разделяемой демократической общественности (Coleman, 2012 : 36) и эффективности коллективного принятия решений. Наконец, общественное доверие связано с взаимным уважением, что обеспечивает расширенное вовлечение. Таким образом, доверие имеет решающее значение для демократии, и оно включает в себя как то, что можно назвать «информационным доверием», то есть доверие к тому, что человек видит и слышит, а также к общим фактам и истинам, так и «общественное доверие», например, к согражданам, политическим процессам и учреждения.

Основываясь на теории рационального выбора, информационное доверие возникает, когда люди ожидают большей выгоды от веры в информацию и общих фактов, чем от необходимости проверять все самим (Etienne, 2021 : 556). Социальное доверие, с другой стороны, определяется Уорреном ( 1999 : 2) в антологии о доверии и демократии как наделение других властью над некоторым благом и принятие определенной степени уязвимости по отношению к ним, чтобы извлечь выгоду из сотрудничества. 13 Эта концепция доверия также основана на теории рационального выбора (Etienne, 2021 : 556). Я дополню его здесь, основываясь на недавней статье о дипфейках и доверии, в которой Этьен ( 2021 г., 557) утверждает, что общественное доверие также отражает желание людей строить отношения с другими людьми и их приоритет над другой доступной информацией при принятии решений. Таким образом, доверие — это не только средство для достижения цели, но и цель сама по себе.

Настоящая статья основывается на проблемно-нормативном подходе Уоррена к теории демократии и тесно связывает его с теориями совещательной демократии и вкладом в роль доверия для демократии. Это составляет теоретическую основу для моего анализа различных способов использования технологии дипфейков и их влияния на демократию.

Методология

Эмпирически эта статья основана на анализе более 300 академических статей, отчетов в СМИ и интернет-публикаций (например, аналитических центров, стартапов и гражданского общества) об этических и социальных последствиях дипфейков. Таким образом, я включаю случаи из (полу)авторитарных государств, поскольку мое внимание сосредоточено не на том, как дипфейки влияют на государства, широко признанные «демократиями», а на основных ценностях и нормах демократии. Академический вклад был обнаружен путем многократного поиска терминов «глубокий фейк» и «глубокий фейк» в Google Scholar с января 2020 года по май 2021 года, а затем с использованием системы снежного кома на основе ссылок. Систематический анализ оповещений Google по поисковым запросам «дипфейк», «дипфейк» и «синтетические медиа» (и их немецкие эквиваленты) с июня 2020 года по апрель 2021 года выявил сообщения в СМИ и интернет-публикации.14 Все рассмотренные источники были опубликованы на английском или немецком языке и добавлены в базу данных Citavi по дипфейкам, включающую более 600 наименований.

Анализ опирается на самые разные типы источников, поскольку рецензируемые академические работы по этой теме редки и оценивают лишь несколько реальных случаев использования дипфейков. Таким образом, мой анализ в значительной степени опирается на отчеты, например, организаций гражданского общества или государственных органов и средств массовой информации. Крайне важно нарисовать как можно более полную и основанную на фактических данных картину пагубного политического влияния дипфейков. Однако различная природа источников может иметь негативные последствия для анализа. Для обеспечения достоверности информации учитывались несколько факторов, в том числе репутация источников, таких как организации гражданского общества или средства массовой информации, восприятие контента (т.е. была ли информация повторно цитирована надежными источниками, например, в рецензируемых журналах) и триангуляция. (т.е. совпадала ли информация из нескольких источников).​

Для проведения анализа раскрытые источники были обобщены, а важные цитаты перенесены в 48-страничный рабочий документ о политическом влиянии дипфейков. Затем, чтобы структурировать и оценить материал, я применил проблемный подход. Подобно оценке Tenove ( 2020 ) воздействия дезинформации на демократию, я структурировал доступную литературу о влиянии дипфейков, «переключаясь между определением новых категорий в данных и использованием концепций демократической теории и исследований СМИ» (там же: 520) 16 а также из литературы о (потенциальном) влиянии дипфейков, приведенной в моем обзоре литературы.

Поскольку существующая литература о политическом влиянии дипфейков почти исключительно сосредоточена на дезинформации, основанной на дипфейках, это стало первым всеобъемлющим использованием дипфейков. Более тщательный анализ выявил три различных способа использования дипфейков для распространения дезинформации и два связанных с ними эффекта (дивиденд лжеца и ослабление средств массовой информации). Кроме того, более широкая литература о дипфейках четко определяет порнографию как их основное использование и обсуждает ее последствия в первую очередь для отдельных лиц. Я утверждаю, что такие дипфейки также политически значимы, и поэтому я добавил дипфейковые разжигания ненависти в качестве второго всеобъемлющего типа использования дипфейков, который может нанести вред демократии.

В рамках этой структуры фактический анализ затем проходил в два этапа: во-первых, был проведен обзор литературы на основе вышеупомянутого рабочего документа. Информация, доступная по отдельным вариантам использования, служила для подробного описания каждого конкретного использования дипфейков, его контекста, охвата и непосредственного воздействия. Таким образом, я попытался дать как можно более полный обзор конкретных случаев использования дипфейков на сегодняшний день, а не выделять только особенно впечатляющие или хорошо известные примеры или случаи, которые поддерживают определенный аргумент. 17 Также считалось, что более широкая литература по дипфейкам предлагает более глубокую оценку, в том числе потенциала дипфейков в определенных областях. На втором этапе анализ связал текущее и будущее использование дипфейков с теоретической основой статьи.

Дипфейк-дезинформация и демократия

Главный страх ученых и журналистов в отношении дипфейков и демократии, возможно, заключается в том, что дипфейки подорвут доверие в демократических обществах и, следовательно, в самой демократии. Этот аргумент касается дипфейковой дезинформации и имеет два аспекта: во-первых, вызывая сомнения в отношении того, «что человек видит и слышит», дипфейки подрывают фактическую основу рассуждений и могут способствовать разобщению общества «постфактум». Дипфейки угрожают доверию к общим фактам и истинам и, таким образом, способствуют тому, что можно назвать «упадком информационного доверия» 18 : когда демократический дискурс больше не может строиться на общих фактах и ​​истинах, обсуждение не может в достаточной мере выполнять свою эпистемическую функцию, т. е. производить эпистемическое качество. 19Это искажает и препятствует основной демократической функции формирования коллективной повестки дня и воли. Чесни и Цитрон ( 2019 : 1777–1778) подчеркивают этот эффект в своем фундаментальном вкладе в дипфейки, заявляя, что дипфейки могут позволить людям жить своей личной истиной, подрывая любое общее понимание эмпирических фактов и, следовательно, демократический дискурс (см. также, например, Bovenschulte, 2019 : 1 и Diakopoulos & Johnson, 2019 : 11, а также соответствующий обзор сообщений средств массовой информации в Gosse & Burkell, 2020 : 503). Снижение информационного доверия также препятствует рациональному коллективному принятию решений, поскольку решение проблем застопоривается и увязает в ненужных дискуссиях по поводу фактических утверждений (Chesney & Citron, 2019 ).: 1777).

Кроме того, дипфейки также угрожают доверию к согражданам, средствам массовой информации и (другим) демократическим институтам и процессам, таким как выборы. Этот более широкий «распад общественного доверия» также угрожает демократии: определенная степень (взаимного) доверия необходима для организации сложных обществ, поскольку отдельные граждане не могут участвовать во всех затрагивающих их политических процессах (Warren, 1999 : 3 ). –4). Как показано, это также является обязательным условием для участия в обсуждении. Таким образом, упадок общественного доверия снижает способность и готовность граждан к политической организации и эффективному решению коллективных проблем, угрожая как полному включению, так и коллективному принятию решений.

Скептицизм политических институтов — давнее явление (Etienne, 2021 : 559). Недоверие к фактам и стратегические усилия по его подпитке также не новы и не специфичны для дипфейков, а скорее являются основной чертой дезинформации (см., например, Chambers, 2021 : 149). Однако, как утверждалось выше, характеристики дипфейков и их распространение усиливают это явление. Но действительно ли падение доверия, вызванное дипфейками, вызывает «инфокалипсис», то есть коллапс информационных экосистем в демократических обществах (Schick, 2020 ).)? Или вредное влияние дипфейков на демократии переоценено? Эта статья помогает ответить на эти вопросы, анализируя на следующем этапе три случая использования дипфейков для дезинформации, которые способствуют такому снижению доверия, а именно манипулирование выборами, нападки на политических оппонентов и иностранное вмешательство, а также то, как они негативно влияют на основные функции демократия. Затем я оцениваю так называемые дивиденды лжеца и то, как дипфейки способствуют ослаблению средств массовой информации и журналистики.

Манипуляции с выборами

Широко распространено опасение, что дипфейки будут использоваться в основном местными (и негосударственными иностранными) субъектами для распространения дезинформации в контексте выборов (см., например, Diakopoulos & Johnson, 2019 ; Chesney & Citron, 2019 : 1774–1778). 22 Однако мой обзор научной литературы и сообщений СМИ показывает лишь несколько таких дипфейков: в 2018 году фламандская социалистическая партия распространила сомнения относительно изменения климата, используя грубое (и помеченное) дипфейковое видео Трампа (Parkin, 2019 ). Во время парламентских выборов в Индии в 2019 г. различные партии публиковали фальшивые изображения и видео (Goel & Frenkel, 2019 г.).), но ни один из них не был дипфейком. На президентских выборах в США в 2020 году опасения по поводу дипфейков были широко распространены, но в основном не оправдались. Я нашел здесь лишь несколько (потенциальных) случаев: в марте 2020 года сам Трамп ретвитнул сфабрикованное видео, на котором Байден корчит гримасы. Однако первоначальный пост был помечен как дипфейк (Frum, 2020 ), видео едва ли обманчиво, и есть сомнения, что технически это дипфейк (Cole, 2020 ). В мае 2020 года Трамп опубликовал в Твиттере дипфейк самого себя, наложенный на фильм «День независимости» (Papenfuss, 2020). Хотя технически это более явный дипфейк, его обманчивый потенциал также сомнителен. Точно так же «роботизированные звонки» миллионам избирателей в Мичигане осенью 2020 года призывали их не голосовать и не распространяли дезинформацию о выборах. Однако звонивший звучал как «робот» (Romm & Stanley-Becker, 2020 ), а не как человек. Кроме того, в октябре 2020 г. фальшивый разведывательный документ о сыне Байдена и его предполагаемых деловых связях с Китаем всплыл «в правом Интернете», а затем был распространен, например, сторонниками QAnon и республиканскими политиками, чтобы нанести ущерб кандидатуре Байдена в президенты (Collins & Задрозный, 2020 г.). Основным автором документа был фейковый персонаж с фальшивой фотографией профиля. Интересно, что это вскоре обнаружилось, но не помешало распространению документа (там же). Таким образом, хотя (более широкая) теория заговора вокруг сына Байдена могла повлиять на выборы в США, обман на основе дипфейков, возможно, не имел решающего значения.

По моей оценке, на сегодняшний день дипфейки не оказали существенного влияния ни на какие демократические выборы. Основная причина может заключаться в том, что менее изощренных «дешевых фейков» или даже простого неправильного присвоения изображений и видео по-прежнему достаточно для «создания [политических] беспорядков» (Harwell, 2019 ), примером чего являются дешевые фейки Байдена, опубликованные в 2020 году (Johnson, 2020 ). Технология дипфейков часто все еще не нужна и неэффективна (Meneses, 2021 : 7). 23

Таким образом, на сегодняшний день влияние дипфейков, связанных с выборами, на демократию остается в основном спекулятивным. Они могут подорвать инклюзивность несколькими способами. Во-первых, дипфейки могут исключать граждан из затрагивающих их дебатов или конкретных кандидатов, если они «заглушают» их голоса на политических форумах (Tenove, 2020 : 529). В более прямом смысле, дипфейки, которые распространяют дезинформацию (или страх) о процедурах выборов, и унизительные (например, порнографические) дипфейки, которые шантажируют избирателей, чтобы они не голосовали, подрывают практику голосования, которая «функционирует как расширение прав и возможностей» только в том случае, если она универсальна (Warren, 2017 ).: 49). В-третьих, дипфейки могут ставить под сомнение справедливые шансы кандидатов на выборах, когда они используются для «ложных утверждений, теорий заговора, шовинистического языка и изображений, которые разжигают моральное отвращение к кандидатам на выборах и государственным чиновникам» (Tenove, 2020 : 528–529). Уполномоченное включение находится под угрозой, когда дипфейки искажают обсуждение до такой степени, что граждане не могут привлечь представителей к ответственности за политические решения и потенциальные проступки, голосуя за соперников (Warren, 2017 : 48).

Связанные с выборами дипфейки также угрожают коллективной повестке дня и формированию воли: дезинформация о политических кандидатах и ​​программах подрывает эпистемологический характер обсуждения. Соответствующие дипфейки способствуют созданию среды, в которой общественность больше не доверяет тому, что видит и слышит. Это затрудняет или даже препятствует рациональным дискуссиям и переговорам в публичной сфере, которая идеально учитывает и реагирует на реальные социальные проблемы (Habermas, 2005 : 290). Кроме того, дипфейки, связанные с выборами, направлены на усиление поляризации и снижение взаимного уважения, что, в свою очередь, препятствует обсуждению. Поскольку дипфейки, связанные с выборами, подрывают прочную эпистемологическую основу универсального уполномоченного включения и обсуждения, коллективное принятие решений также затруднено.

Возможно, дипфейки, связанные с выборами, еще не оказали такого пагубного воздействия на демократию, хотя это вполне может материализоваться в (ближайшем) будущем, учитывая растущую изощренность дипфейков и эффективность (стоимость и ресурсы). Однако важно отметить, что дипфейки вызывают большую озабоченность у научных кругов, журналистов, политических деятелей и, во все большей степени, у общественности. Я утверждаю, что сам этот страх, а не фактическое использование дипфейков на выборах, в настоящее время представляет наибольшую угрозу для демократии из-за дипфейков на выборах: он подрывает доверие граждан и других политических заинтересованных сторон к справедливости и честности выборов (см. Diakopoulos & Johnson, 2019 ). : 12). Таким образом, это подпитывает распад общественного доверия. Это снижает доверие к избранным представителям и легитимность коллективных решений

Нападение на политических оппонентов и подавление оппозиции

Дипфейки также могут атаковать политических оппонентов вне выборов. Целями могут быть государственные чиновники, судьи, солдаты, агентства, гражданское общество, религиозные организации (Chesney & Citron, 2019 : 1776, 1779), журналисты, диссиденты или активисты. Дипфейки, фабрикующие ложь, могут помешать людям участвовать, например, в акциях протеста, распространяя ложную организационную информацию или ложь о рассматриваемом политическом вопросе. Дипфейки также могут нанести ущерб репутации, усилить существующие социальные разногласия или даже спровоцировать внутригосударственное или межгосударственное насилие (см., например, там же: 1757, 1776; Bovenschulte, 2019 : 3). Кроме того, запугивание или унижение целевых дипфейков может «заставить замолчать» оппонентов.

Показательный случай произошел в июле 2020 года, когда еврейская газета США обвинила пропалестинскую активистку и ее мужа в том, что они «известно сочувствуют террористам». Автор статьи был фейковой персоной, использующей фейковую фотографию профиля, которая обманула газету (Satter, 2020 ). Месяц спустя на странице Facebook «Сионистская весна» появились свидетельства фальшивых левых (с фальшивыми аватарками), которые якобы перешли в сторонников премьер-министра Израиля Биньямина Нетаньяху, и ими поделились в крайне правых кругах, не обращая внимания на их фальшивую природу. . Кампания была направлена ​​на ослабление растущих антинетаньяху настроений и протестов (Benzaquen, 2020). В феврале 2021 года Facebook также удалил 530 аккаунтов в Instagram (частично с поддельными фотографиями профиля), созданных в России, с целью подавления внутренних протестов в поддержку Навального (Facebook, 2021b ).

Что касается замалчивания с помощью дипфейков, то ярким случаем является случай с индийской журналисткой Раной Айюб, которая в 2018 году подвергла критике правящую партию БДП и впоследствии стала мишенью фейкового порновидео, опубликованного вместе с личными данными (доксинг). Дипфейк стал вирусным и даже повлек за собой смертельные угрозы; Айюб страдал от приступов паники и учащенного сердцебиения. Впоследствии она сообщила о том, что подвергла себя цензуре (Schick in Jankowicz, 2021 ; WITNESS, 2020a ). Здесь дипфейковая порнография использовалась, чтобы заставить замолчать критический голос, стирая грань между политикой (и дезинформацией). 24

В более общем плане журналисты и правозащитные организации все больше опасаются целенаправленных дипфейков в напряженной политической обстановке, характеризующейся ограниченной свободой СМИ и грамотностью, когда дипфейки якобы будут разрушительными и будут способствовать «сокращению пространства», например, диссидентов и журналистов, у которых мало ресурсов для их развенчания. (Бундауи; Раджагопалан в WITNESS, 2020a ). Такие среды не являются демократиями, но нацелены на продемократических акторов. На сегодняшний день я смог найти только один (потенциальный) пример этого (хотя соответствующих «дешевых подделок» предостаточно): в марте 2021 года (кажущееся) признание мьянманского министра в даче взятки Аунг Сан Су Чжи было показано по принадлежащему военным телеканалу. канал. Многие зрители подозревали, что это дипфейк с заменой лица (KrASIA, 2021 ). 25Этот случай (потенциально) подтверждает опасения, что дипфейки будут использоваться для принудительного «признания» (Раджагополан в WITNESS, 2020a для китайского контекста).

Целенаправленные политические дипфейки подрывают полномочияинклюзивность, поскольку их жертвы (например, журналисты и диссиденты) часто выполняют критически важную функцию уравновешивания, предав гласности правонарушения властей. Их замалчивание препятствует подотчетному представительству. Кампании по дезинформации с использованием поддельных аватарок также все чаще используются для подавления антиправительственных протестов, что опять-таки подрывает возможности граждан. Целенаправленные дипфейки также ослабляют коллективную повестку дня и формирование воли за счет эрозии эпистемического качества: либо критические голоса или факты необоснованно исключаются из публичного обсуждения (или, по крайней мере, ставятся под сомнение), либо обсуждение пронизано дезинформацией, например, посредством принудительных признаний. Целенаправленные дипфейки также поляризуют, подрывая взаимное уважение граждан и их готовность выдвигать противоположные идеи и аргументы. Комбинированное отсутствие эпистемического качества и взаимного уважения,

Опасности, которые представляют дипфейки для политически активных лиц и организаций, не являются специфическими для этой технологии. Многие из вышеупомянутых атак могли произойти и без дипфейков (и некоторые из них произошли, как показывают попытки России подавить оппозицию с помощью поддельных профилей в Instagram, не основанных на дипфейках). В напряженном политическом климате или в обществах с низкой медийной грамотностью часто бывает достаточно просто, например, показать кадры, вырванные из контекста, чтобы дискредитировать отдельных лиц или учреждения (Раджагополан в СВИДЕТЕЛЬСТВАХ, 2020a ).). Однако, как обсуждалось во введении, дипфейки представляют собой особенно сложную, убедительную и все более доступную технологию, которая также может действовать в менее сложных политических условиях и обманывать институты (такие как средства массовой информации) и общественность с более высоким уровнем медиаграмотности.

Иностранное вмешательство

Дипфейки также могут служить иностранному вмешательству, т. е. попыткам «авторитарных государственных и негосударственных субъектов […] дестабилизировать своих демократических коллег» (Bentzen, 2020 : 1). Выявление соответствующих случаев является сложной задачей, поскольку обычно трудно отследить происхождение дипфейков. Моя классификация здесь основана на суждениях органов безопасности, аналитиков социальных сетей и платформ.

По моей оценке, дипфейки только недавно использовались для иностранного вмешательства и использовались исключительно для создания дипфейковых аватарок для поддельных учетных записей в социальных сетях вплоть до 2022 года . такие аккаунты в Facebook и Instagram, в которых размещался контент по геополитическим вопросам, таким как американо-китайские отношения и конфликт в Южно-Китайском море (Bastian, 2020 ). Еще одна прокитайская операция влияния, «Дракон спамуфляжа», была нацелена на граждан США на выборах 2020 года с сообщениями в поддержку Байдена (Stone, 2020a ).). В 2020 году Федеральное бюро расследований США (ФБР) также предупредило Facebook о кампании российского «Агентства интернет-исследований» (АИР), использующего дипфейковые профили для усиления социальных разногласий в США с помощью контента как в поддержку Байдена, так и в поддержку Трампа ( Vavra, 2021 ) и конспирологический контент, связанный с COVID-19 и QAnon (Stone, 2020b ). Связанная с этим российская операция, управляющая крайне правым «новостным» веб-сайтом и учетными записями Габа и Парлера, также нацелена на американскую общественность с сообщениями в поддержку Трампа и опирается на фальшивые редакционные персоны (Graphika, 2020 ). Цель этих российских операций состояла в том, чтобы «подтолкнуть […] пользователей к обоим концам политического спектра с помощью разногласий и гиперпартийного содержания» (там же).

В контексте продолжающейся войны на Украине материализовался (предположительно) дипфейк- видео иностранного производства : в марте 2022 года веб-сайт украинского информационного агентства был взломан, чтобы опубликовать дипфейк-видео, в котором президент Украины Зеленский призывает украинцев сдаться. 27 Затем видео распространилось в социальных сетях, но так и не стало вирусным из-за низкого визуального качества и других признаков подделки, включая фальшивый русский акцент Зеленского и голос робота (Bastian, 2022 ). Политический контекст и акцент указывают на то, что дипфейк был частью усилий России по дезинформации. Возможно, это первая задокументированная попытка добиться иностранного политического вмешательства в более широком масштабе с помощью дипфейков (см. также там же).

Насколько опасны дипфейки для иностранного вмешательства в демократию? Ни одна из вышеупомянутых операций с использованием поддельных изображений профиля не привлекла существенного внимания (там же; см. также Stone, 2020b ). Более того, соответствующие дезинформационные кампании, скорее всего, также проводились бы без дипфейков. Например, ИРА уже давно использует поддельные учетные записи в социальных сетях для использования политической напряженности (Stone, 2020b ); и дипфейки были частью гораздо более масштабных кампаний по дезинформации (Peterson & Hanley, 2020: 443). Точно так же дипфейк украинского президента, скорее всего, был частью российской дезинформационной кампании. Кроме того, он оказался неэффективным, так как его легко разоблачить. Таким образом, ни одна дипфейковая операция иностранного влияния на сегодняшний день не оказала решающего дестабилизирующего воздействия на демократию.

Однако будущее использование дипфейков для иностранного вмешательства неясно (Nimmo et al., 2020 : 16): изображения дипфейков невозможно отследить или распознать — в отличие от настоящих портретов. Тем не менее, по данным аналитической компании Graphika, их использование также парадоксально, поскольку они вводят новые сигналы для разоблачения подделок. Таким образом, в настоящее время иностранные игроки могут просто опробовать технологию (Bastian, 2020 ). Кроме того, обнаружение может быть частью обоснования, когда речь идет о манипулировании выборами, поскольку оно еще больше подрывает доверие местной общественности к выборам (Peterson & Hanley, 2020 : 443). О дипфейковых видеооднако дилетантизм дипфейка Зеленского удивил наблюдателей, поскольку действительно убедительное видео дипфейка было «всего в нескольких часах работы» (Бастиан, 2022 , собственный перевод) и, возможно, имело бы большее влияние. Дипфейк также подтверждает опасения наблюдателей, таких как эстонская разведывательная служба и ФБР, предсказывающие более широкое использование дипфейков иностранными субъектами (в частности, Россией) против западных демократий (Välisluureamet, 2021 : 66; FBI, 2021 ) и соответствующие предупреждения украинских властей. в контексте войны 2022 года (Бастиан, 2022 ).

Более убедительные дипфейки для иностранного вмешательства могут подорвать участие определенных групп в демократических процессах, если они «наводнят коммуникативные форумы и заглушают возможности для отдельных лиц внести свой вклад или столкнуться с различными взглядами» (Tenove, 2020 : 529). По моему мнению, их масштаб должен был бы значительно увеличиться, чтобы иметь такой эффект. 28 В конечном счете, иностранное вмешательство направлено на предотвращение наделения властью включения в смысле общего самоопределения граждан страны-мишени. Как говорит Тенове ( 2020 : 522), «это подрывает национальную безопасность и — в международном контексте — суверенитет». 29Примером этого служит дипфейк Зеленского, направленный на то, чтобы изменить ход международной войны и, в конечном счете, положить конец суверенитету Украины. На сегодняшний день, однако, вмешательство на основе дипфейков еще не смогло поставить под угрозу полноправное включение всей демо-версии.

В настоящее время такие дипфейки в основном мешают коллективной повестке дня и формированию воли. Некоторые операции публикуют контент, благоприятный для их страны происхождения. Однако в первую очередь они стремятся дестабилизировать и поляризовать страну-мишень (здесь США) путем распространения разногласий, крайне партийного контента и идеологий заговора. Это может уменьшить готовность некоторых граждан, которые верят в такой контент, рационально взаимодействовать и приспосабливаться к гражданам с противоположными взглядами и, таким образом, наносить ущерб эпистемическому качеству, препятствуя обсуждению.

Наконец, широко распространенное мнение о вмешательстве иностранных субъектов во внутренние выборы снижает доверие к выборам и, следовательно, легитимность коллективного принятия решений. Опять же, это подчеркивает, как дипфейки вызывают информационный и, как следствие, общественный упадок доверия, тем самым нанося вред демократии. Однако в случае с выборами в США в 2020 году как страхи перед внутренними дипфейками, так и внутренние заявления о том, что выборы были сфальсифицированы, возможно, вызвали больше хаоса, чем иностранное вмешательство на основе дипфейков, которое было ограниченным. Будущее использование дипфейков для операций иностранного вмешательства и, следовательно, их соответствующее влияние на демократию остается неопределенным.

Дивиденд лжеца

Дипфейки, используемые для манипулирования выборами, нападения на политических оппонентов и иностранного вмешательства, — все это способствует снижению информационного и общественного доверия. Этот упадок доверия, в свою очередь, приносит «дивиденды лжеца», что является центральным вопросом в дискуссиях о влиянии дипфейков на демократию. Я определяю дивиденд лжеца как возможность для лиц, критикуемых за определенные заявления или действия, просто отрицать правдивость уличающих улик, ссылаясь на существование дипфейков (см. Chesney & Citron, 2019 ).: 1785). На дивиденды лжеца также могут ссылаться сторонники критикуемых лиц, которые могут (создавать) сомнения (в отношении) определенных действий, которые противоречат их мировоззрению или иным образом нежелательны. Это возможно благодаря простому существованию, использованию дипфейков и связанному с этим снижению доверия. Этот термин был придуман Чесни и Цитроном ( 2019 : 1785) в их оригинальном вкладе в дипфейки и с тех пор широко используется как в академических кругах, так и в средствах массовой информации.

Ранний пример окружает видео президента Габона Али Бонго. Президент не появлялся публично в течение нескольких месяцев, что подпитывало слухи о том, что он болен или умер. Когда транслировалось его традиционное новогоднее обращение 2018 года, предположения о правдивости видео вызвали общественные волнения и даже привели к неудавшемуся военному перевороту. Цифровая криминалистика позже не смогла найти доказательств подделки (Ajder et al., 2019 : 10), но одних предположений было достаточно, чтобы разжечь внутренние разногласия и даже насилие. Кроме того, малайские и индийские политики, обвиняемые в сексуальных скандалах, заявили, что соответствующие видеодоказательства были сфальсифицированы (Blakkarly, 2019 ; Sudeep, 2021 ). 30В США бывший президент Дональд Трамп еще в 2016 году утверждал, что видео «Access Hollywood», в котором он хвастался домогательствами к женщинам, было сфабриковано. Совсем недавно сторонники Трампа, в том числе националисты и приверженцы QAnon, усомнились в правдивости видеороликов, показывающих положительный результат теста Трампа на коронавирус, осуждающих нападение на Капитолий и уступающих Джо Байдену, а также публичных выступлений Байдена (Beaumont, 2021 ; Chheda, 2021 ; Макдональд, 2020 ). Менее чем через месяц после убийства Джорджа Флойда полицейским в мае 2020 года кандидат в конгресс США от республиканской партии опубликовал «отчет», в котором утверждалось, что видеозапись его смерти была дипфейком, направленным на разжигание расовой напряженности (Sonnemaker, 2021 ).). В контексте военного переворота в Мьянме армия и власти в последнее время также усомнились в подлинности записей, документирующих нарушения прав человека (Грегори, 2021 г. ).

Как дивиденды лжеца влияют на демократию? Это препятствует полному включению, когда сомнения в неправомерных действиях государственных должностных лиц, политических кандидатов или представителей мешают гражданам (или соответствующим органам) привлечь виновных к ответственности, например, путем отмены выбора (Warren, 2017 : 48) или судебного преследования. Дивиденд лжеца также приводит к дальнейшей маргинализации репрессированных сообществ, которым «общество уже вряд ли поверит» (Pfefferkorn, 2021 ). Это, например, случай полицейского насилия над чернокожим сообществом в США (там же). 31В авторитарных режимах еще более вероятно, что дивиденды лжеца предотвратят последствия даже широко распространенных нарушений прав человека. Журналисты и правозащитники уже чувствуют, что на них перекладывается соответствующее бремя доказывания (Грегори, 2021 ).

Дивиденды лжеца также подрывают эпистемическое качество размышлений. Как отмечает Чемберс ( 2021 : 149), пристрастные субъекты стратегически используют и усугубляют существующую эпистемическую неопределенность, распространяя «фальшивые фальшивые новости», т. е. нападая на «реальные» факты и/или журналистику, основанную на фактах, обвиняя их в фальшивых новостях». Таким образом, дивиденды лжеца подрывают демократический дискурс, способствуя (продолжающейся) эрозии эпистемологического качества. По иронии судьбы, эта угроза возрастает с ростом осведомленности общественности о дипфейках (Chesney & Citron, 2019 : 1785). Чесни и Цитрон ( 2019 г. ): 1786) опасаются, что это создает больше «пространства для авторитаризма»: когда рациональная аргументация ослабевает, «те, кто занимает гегемонистскую позицию в дискурсе и чье мнение наиболее заметно», получают власть.

Распад доверия играет здесь двоякую роль: дивиденды лжеца не только связаны с уменьшением доверия к достоверности эмпирических данных и средств массовой информации, но и способствуют дальнейшему упадку доверия — как к эмпирическим данным и фактам, так и к демократическим институтам . и сограждане. Например, растущее давление на журналистов и правозащитные организации с целью доказать утверждения о нарушениях прав человека показывает, что дивиденды лжеца усиливают сомнения и даже недовольство журналистами и активистами как важнейшими институтами демократического надзора.

Это связано со вторым следствием дивиденда лжеца, а именно с поляризацией. Поляризация препятствует обсуждению, поскольку снижает взаимное уважение и снижает «совещательную склонность аудитории взвешивать причины и предложения» (Mansbridge et al., 2012 : 24). В случае, например, с осуждением Трампом теракта в Капитолии теории дипфейков, циркулирующие на правых форумах, подпитывали идеологию заговора. Сегрегация граждан в такие «единомышленные «ниши» мешает им «услышать другую сторону и выработать уважение к людям, с которыми они не согласны» (там же: 21). Другие случаи, такие как сомнения в убийстве Джорджа Флойда, усугубили широко распространенные социальные разногласия, такие как расовая напряженность, а случай в Габоне даже иллюстрирует способность дипфейков разжигать насильственные конфликты.

Дивиденд лжеца, основанный на снижении доверия, вызванном дипфейками, усугубляет эпистемическую неопределенность и поляризацию (и, таким образом, в свою очередь, дальнейшее снижение доверия). Это подрывает качество обсуждения и коллективной повестки дня, формирование воли и, как следствие, легитимность коллективного принятия решений.

Ослабление средств массовой информации и журналистики

Существование дипфейков и связанное с этим снижение доверия также создают определенные проблемы для отдельных новостных агентств и новостных СМИ в целом (Bovenschulte, 2019 : 1), а дипфейки усугубляют существующие проблемы для журналистов, связанные с проверкой фактов (Diakopoulos & Johnson, 2019 : 1; Chesney & Citron, 2019 : 1784). Для проверки СМИ журналистам все чаще приходится полагаться на технологии обнаружения дипфейков, которые не являются ни совершенными, ни легкодоступными. Это может помешать журналистам «быстро сообщать о реальных, тревожных событиях», поскольку они сомневаются в правдивости подтверждающих доказательств (там же). С другой стороны, когда журналистов обманывают дипфейками, это влечет за собой (дальнейшую) потерю общественного доверия (и эпистемологического качества).

В качестве примера можно привести вышеупомянутый обман еврейской газеты США в 2020 году, заставив ее опубликовать антипалестинскую статью поддельной персоной. Что характерно, газета, которая удалила контент, признала, что не проверяла личность автора заранее, и с тех пор улучшила свои меры безопасности (Satter, 2020 ). Другие новостные агентства отказались отозвать статью, поставив под сомнение их достоверность. Один из редакторов также высказал мнение, что это дело может снизить желание издания в будущем публиковать неизвестные голоса (там же). 32

Журналисты также сообщают о проблеме проверки фактов потенциальных дипфейков и отсутствии доступных инструментов (Литвиненко в WITNESS, 2020b ). Соответственно, новостные организации объединяют усилия для разработки инструментов обнаружения дипфейков. Например, Agence France-Presse сотрудничает с Google в рамках своей платформы «Assembler» (Cohen, 2020 ), а немецкая радиовещательная компания «Deutsche Welle» участвует в соответствующем исследовательском проекте «Digger» (Bundesregierung, 2019 : 8). Такое сотрудничество, а также обучение, полученное в результате «одурачивания» дипфейками, может способствовать укреплению качественной журналистики. 33

Тем не менее, обнаружение дипфейков остается дорогостоящим и подверженным ошибкам, и журналисты, возможно, рассматривают дипфейки скорее как (дополнительную) проблему, чем как возможность. В частности, технология дипфейков упростила манипулирование видео, что привело к их распространению. Огромный объем видеоматериалов означает, что новостным агентствам потребуются целые группы визуальных расследований для проверки фактов (Литвиненко в WITNESS, 2020b ). Зачастую это непомерно дорого и явно недоступно обычным пользователям социальных сетей или гражданским журналистам (там же).

Таким образом, дипфейки уже усложняют работу журналистов и подрывают доверие к СМИ, и они представляют собой растущую проблему. Это подрывает коллективную повестку дня и формирование воли (и в определенной степени подотчетное представительство и, таким образом , наделение полномочиями включения), поскольку СМИ играют много важных ролей в совещательных системах. Они «сторожевые псы власти, представители граждан и сообществ, трансляторы знаний, просветители граждан и общественные защитники» (Mansbridge et al., 2012 : 20). Как «передатчик(и) надежной и полезной информации», средства массовой информации имеют решающее значение для эпистемологического качества (там же). Кроме того, они «сильно влияют на тон вежливости и уважения среди граждан» (там же: 21), в свою очередь усиливая или подрывая обсуждение.

Deepfake Разжигание ненависти и демократия

Дипфейки используются не только — и даже не в первую очередь — для распространения дезинформации. На самом деле термин «дипфейки» был придуман в 2017 году — и технология впервые стала известна широкой публике — когда анонимный пользователь Reddit опубликовал порнографические видео с заменой лиц, а затем опубликовал соответствующий код на GitHub (Schreiner, 2019 ). С тех пор распространились порнографические дипфейки. По данным компании Deeptrace (теперь Sensity.AI), занимающейся анализом визуальных угроз, в 2019 году 96% всех онлайн-видео дипфейков были порнографическими, и все они изображали женщин (Ajder et al., 2019 : i, 2). Недавно всплыли порнографические дипфейки мужчин (например, Nambodiri, 2021 ), но они остаются исключениями.

Я утверждаю, что несогласованные порнографические дипфейки представляют собой язык ненависти и, таким образом, угрожают демократии, даже если они созданы не с «политическими намерениями», то есть с целью заставить замолчать отдельных политических оппонентов. 34 Не существует единого определения термина «язык вражды». Медиа-исследователь Спонхольц (Sponholz, 2018 : 51) рассматривает его как «преднамеренное и часто преднамеренное унижение людей с помощью сообщений, которые призывают, оправдывают и/или упрощают насилие на основе категории (пол, фенотип, религия или сексуальная ориентация)» (перевод автора). ). Таким образом, язык ненависти не ограничивается речевым актом, но также охватывает, например, общение на основе изображений (там же: 57) и может быть непреднамеренным.

В то время как порнографические дипфейки первоначально изображали знаменитостей, фальшивое порно без согласия обычных женщин, включая порнографию мести, теперь распространяется из-за растущей доступности дипфейков (Hao, 2021 ). Например, приложение «DeepNude» позволяет пользователям «раздевать» одетые изображения любой женщины. Он обучался только на женских телах и поэтому работает только с ними. После всплеска интереса приложение было официально удалено, но с тех пор код распространяется в сети (Ajder et al., 2019 : 8). В 2020 году бот Telegram на его основе позволил пользователям создать более 100 000 изображений обнаженных женщин. Многие жертвы были несовершеннолетними (Винсент, 2020 г. ).

В определенной степени это продолжает существующие явления фальшивой порнографии без согласия, но ИИ, возможно, усилил угрозу, поскольку он «делает глубокие фейки «реальными», чтобы они соответствовали наблюдаемой нами реальности» (Maddocks, 2020 : 5). Дипфейковая порнография может причинить серьезный психологический вред жертвам, включая тревогу и депрессию. Это может поставить их в невыгодное положение, например, в профессиональной жизни (Citron, 2019 : 1926–1928). Это также угрожает равенству и свободе жертвы, нарушая их сексуальную неприкосновенность (там же: 1874, 1882). В некоторых случаях женщины даже меняли свои имена или прекращали свое присутствие в Интернете в ответ на дипфейковое порно без согласия (Hao, 2021 ).

Поскольку порнографические дипфейки в подавляющем большинстве случаев изображают женщин, проблема имеет ярко выраженный гендерный характер (Chesney & Citron, 2019 : 1773). Он нацелен на женщин как на социальную группу или «категорию» — центральную черту разжигания ненависти (Sponholz, 2018 : 60). Поддельное порно снижает шансы женщин на жизнь и может помешать им активно участвовать в общественной жизни — как онлайн, так и офлайн. Таким образом, это инструмент «контроля над женщинами» и другими меньшинствами (Faife in WITNESS, 2020b).): Как утверждает чернокожая активистка Коллинз-Декстер (там же), дипфейк-порно также непропорционально нацелено на цветных людей, ЛГБТК+ и другие маргинализированные сообщества и используется для «фетишизации, дегуманизации, минимизации и превращения в невидимых чернокожих мужчин и женщин». Примером может служить расистское дипфейковое порно, распространяемое в кругах сторонников превосходства белой расы.

Дипфейковая порнография преимущественно наносит ущерб основной демократической норме расширенного включения: как и другие формы языка ненависти (Sponholz, 2018 : 59), она усугубляет существующую дискриминацию посредством запугивания и очернения. Это влечет за собой «утрату власти» изображаемыми и «процветание на условностях, которые исторически подрывают претензии женщин на истину» (Maddocks, 2020 : 4–5). Членам маргинализированных групп не позволяют участвовать в общественной жизни и вносить свой вклад в политические решения, которые их затрагивают (см. также Jankowicz, 2021 ), поскольку им не предоставляется «равная защита, позволяющая [им] использовать [свои] полномочия», т.е. право голосовать, говорить, [и] организовывать» (Уоррен, 2017 : 44).

В отличие от других проанализированных дипфейков, большая часть дипфейковой порнографии не преследует цель обмануть зрителей (Maddocks, 2020 : 4). Таким образом, это не способствует эпистемологической неопределенности. Тем не менее, это вредит коллективной повестке дня и формированию воли, снижая взаимное уважение (см. Warren, 2017 : 48). Легитимность коллективных решений также ослабляется, поскольку некоторые граждане не могут «считать, что их интересы были справедливо представлены и учтены» в политическом процессе (там же).

Заключение и перспективы

Мой вклад обосновывает дебаты о дипфейках в теории проблемно-ориентированной и совещательной демократии. Я описал, как различные виды использования технологии дипфейков ослабляют основные демократические функции и нормы. Для этого я структурировал и оценил разрозненную литературу о политических дипфейках, которая часто поверхностна и лишена этической или политологической направленности. Я также интегрировал многочисленные недавние сообщения СМИ о дипфейках.

Мой анализ показал, как дипфейки, используемые для определенных видов дезинформации, вызывают снижение доверия к информации и обществу, и как это, в свою очередь, дает дивиденды лжецу и ослабляет средства массовой информации. Дипфейковая дезинформация препятствует полному включению граждан в политические дебаты и решения, которые их затрагивают, например, препятствуя усилиям по привлечению к ответственности политических представителей или дальнейшей маргинализации определенных социальных групп, таких как женщины или этнические меньшинства. Дипфейки также подрывают коллективную повестку дня и формирование воли, угрожая эпистемическому качеству обсуждения, а также взаимному сочувствию и уважению граждан. Кульминацией этого является снижение легитимности принимаемых коллективных решений, чему дополнительно угрожают всепроникающие (но в основном спекулятивные) страхи перед дипфейковыми манипуляциями на выборах. подрыв доверия к выборам и их результатам. Я также подчеркнул политическую важность дипфейковых высказываний ненависти, в частности порнографических дипфейков. Такие дипфейки ослабляют взаимное уважение граждан и их полноправное участие.

Мой вклад ограничен несколькими способами: во-первых, моя индуктивная систематизация вариантов использования дипфейков — не единственная возможная категоризация. 35 Во-вторых, рассматривалась литература только на немецком и английском языках. Литература также включала многочисленные не рецензируемые СМИ, аналитические центры, отчеты компаний и правительства. 36 В-третьих, я опираюсь на ограниченное количество работ по теории демократии, все из которых исходят от Глобального Севера. Будущие вклады, рассматривающие другие теории демократии, в том числе теории Глобального Юга, окажутся плодотворными для дальнейшего стимулирования политических (научных) и философских дебатов о дипфейках.

Я также рисую мрачную картину политического влияния дипфейков, фокусируясь исключительно на их злонамеренном использовании. Однако дипфейки также обладают огромным потенциалом для политического образования и дебатов. Например, дипфейковая сатира повышает осведомленность общественности о технологии (Klingenmaier, 2020 ), критикует власть имущих и способствует общественным дебатам. Другое просоциальное использование включает политическую активность и кампании по повышению осведомленности общественности, образовательные дипфейки, например, в музеях или школах, а также политическое искусство (Bieß & Pawelec, 2020 ). Такие дипфейки могут информировать общественность, например, о новых технологиях или прошлых исторических событиях. В недавней публикации я предлагаю первый обзор такого продемократического использования технологии дипфейков, основанный на проблемно-ориентированной и совещательной теории демократии (Pawelec, 2022 ).). Однако влияние подобных дипфейков на демократию неоднозначно. Например, они тоже могут быть обманчивыми и манипулятивными. Кроме того, необходимы теоретически обоснованные исследования таких приложений, чтобы нарисовать сбалансированную картину влияния дипфейков на демократию.

Несмотря на эти ограничения, настоящий вклад структурирует большое количество разрозненной литературы о дипфейках и демократии. Он также продвигает более теоретически обоснованный анализ дипфейков, объясняя демократические блага, которым они угрожают. Это также может послужить основой для более целесообразной политики и ответных мер общества, хотя и с учетом того, что влияние этой политики на демократию (например, на свободу слова), в свою очередь, всегда должно подвергаться критическому анализу (Tenove, 2020 : 520).

Ответы на дипфейки часто являются частью более широких усилий по регулированию ИИ и сдерживанию дезинформации и разжигания ненависти в Интернете (см. van Huijstee et al., 2021 : 37ff). Тем не менее, конкретные усилия по управлению дипфейками также увеличиваются. К ним относятся технические разработки, например, те, которым способствовал Facebook Deepfake Detection Challenge 2020; правовые инициативы в Южной Корее, Великобритании и США по введению уголовной ответственности за дипфейковую порнографию (Hao, 2021 ); новая политика платформы в отношении синтетических медиа (например, Facebook, 2021a ; Roth & Achuthan, 2020 ); и недавнее предложение Европейской комиссии о «Законе об искусственном интеллекте», в котором конкретно рассматриваются дипфейки (European Commission, 2021: 69). Более глубокое понимание нормативной угрозы дипфейков может помочь оценить и адаптировать такие конкретные инициативы (а также более широкую политику искусственного интеллекта, дезинформации и разжигания ненависти) и разработать будущие ответные меры политики.

Например, Европейская комиссия планирует ввести обязательства по обеспечению прозрачности для большинства дипфейков в своем «Законе об искусственном интеллекте», но исключает дипфейки, подпадающие под действие свободы выражения мнений или искусства, при этом учитывая «надлежащие гарантии прав и свобод третьих лиц» (там же). Исходя из моего анализа, это положение срочно нуждается в уточнении. Исключения из обязательств по прозрачности должны быть очерчены, поскольку прозрачность увеличивает эпистемическое качество обсуждения, тем самым усиливая коллективную повестку дня и формирование воли. Кроме того, мой анализ показывает, что поляризующие, расистские и порнографические дипфейки будут продолжать сказываться на демократии, даже если они будут обозначены как таковые, угрожая расширению полномочий и взаимному уважению, необходимым для обсуждения. Чтобы принять это во внимание, Комиссия могла бы дополнить свое предложение, например,

В частности, порнографические дипфейки часто игнорируются в дискурсе, окружающем дипфейки и соответствующие политические меры. Учитывая их воздействие на пострадавших людей, это неприемлемо (Cole in WITNESS, 2020a ; Maddocks , 2020 : 2; Jankowicz, 2021 ). Мой анализ дополнительно подчеркивает их серьезное политическое влияние даже при отсутствии очевидных политических намерений. Таким образом, необходимо активизировать усилия по защите женщин от дипфейковой порнографии. 37 Сюда входит продвижение существующих правовых инициатив и инициирование соответствующих дискуссий, например, в ЕС. Учитывая нынешнее распространение дипфейков, жизненно важно гарантировать женщинам равные демократические права и расширенное участие.