AI-помощники и противодействие дезинформации

Во время подготовки публикации Беларуское гражданское общество и дезинформация, июль 2024 было использовано понятие DISARM Framework.

Для описания дезинформационных нарративаов использовалась модель OpenAI ChatGPT-4o и в ходе работы над публикацией было выявлено, что данная модель мало знает про DISARM Framework и генерирует галлюцинации. В нынешний момент проблема галлюцинаций моделей исскуственного интеллекта является достаточно серьезной, что затрудняет использование диалоговых систем, как ChatGPT, для генерирования абсолютно точных определений, особенно основанных на определенных протоколах. Проблему можно решить несколько способами уменьшать характеристику «Температура», которая отвечает за креативность генерируемых моделей и дообучение моделей (pre-train, fine-tuning, embedding). К сожалению, в веб-интерфейсе ChatGPT невозможно принудительно снизить температуру генерации. Это возможно сделать только используя API или пытаться применять навыки prompt engineering.

Исходя из сложившейся проблемы было решено проверить, что знают различные общедоступные LLM-модели про DISARM Framework. Некоторым моделям потребовалось сделать уточнение, что DISARM связан с противодействием дезинформации.

1. ChatBot (использующий модель gpt-4o-mini) (после уточнения):

DISARM (Disinformation and Social Media Analysis and Response Model) — это фреймворк, разработанный для борьбы с дезинформацией, особенно в контексте социальных медиа. Он направлен на анализ, выявление и противодействие распространению ложной информации и манипулятивных нарративов.

Основные аспекты DISARM в контексте борьбы с дезинформацией могут включать:

Мониторинг и анализ: Системы DISARM могут отслеживать и анализировать контент в социальных медиа, выявляя потенциальные источники дезинформации и паттерны ее распространения.
Идентификация источников: Использование алгоритмов для определения источников дезинформации и их влияния на общественное мнение.
Оценка достоверности: Применение методов проверки фактов и анализа контента для оценки достоверности информации.
Обратная связь и реагирование: Разработка стратегий для опровержения дезинформации и информирования общественности о фактах.
Обучение и осведомленность: Повышение уровня осведомленности пользователей о дезинформации и методах ее распознавания.

DISARM может быть полезен для правительств, организаций и исследовательских институтов, стремящихся эффективно противостоять дезинформации и защищать общественное мнение от манипуляций.

2. Модель ChatGPT 4o-preview

Основные элементы DISARM Framework:

Detect (Обнаружение):
- На этом этапе происходит мониторинг и выявление потенциально вредоносного контента. Используются автоматизированные инструменты и алгоритмы, которые анализируют данные на предмет аномалий, специфических паттернов поведения, указывающих на манипуляции, или наличие подозрительных сообщений и постов.
Identify (Идентификация):
- После обнаружения подозрительного контента идет его идентификация. Определяются источники дезинформации, характер манипуляций, включая фальсификации, использование фейковых новостей или создание ложных нарративов. Также на этом этапе проводится оценка вероятности угрозы, исходящей от выявленного контента.
Stop (Прекращение):
- Этап противодействия, когда предпринимаются действия для минимизации или устранения воздействия вредоносного контента. Это может включать удаление контента, блокировку учетных записей, противодействие фейковым новостям через фактическую проверку информации, а также информирование пользователей о выявленных угрозах.

Основные задачи и цели:

Обнаружение и предотвращение дезинформации: Уменьшение распространения ложной информации, способной повлиять на общественное мнение и поведение.
Защита данных и достоверности информации: Создание систем, способных автоматически выявлять и предотвращать изменения данных, которые могут быть использованы для манипуляции.
Повышение осведомленности и обучение: Обучение пользователей и организаций о способах выявления манипуляций и распространения фейковой информации.
Автоматизация противодействия: Использование искусственного интеллекта и машинного обучения для автоматизации процессов обнаружения и смягчения дезинформации.

Применение DISARM Framework:

Социальные сети и платформы обмена контентом: Для борьбы с дезинформацией и фальсификациями, которые активно распространяются через социальные медиа.
Медиа и новостные организации: Для проверки и подтверждения достоверности информации до ее публикации.
Кибербезопасность: Для предотвращения манипуляций данными и защиты пользователей от вредоносных воздействий.
Государственные структуры и НКО: В целях защиты информационного пространства от внешнего и внутреннего влияния через дезинформацию.

Преимущества:

Адаптивность к новым угрозам: DISARM может быть настроен под конкретные задачи и угрозы, возникающие в информационной среде.
Автоматизация и эффективность: Использование продвинутых алгоритмов для анализа и реагирования в режиме реального времени.
Интеграция с существующими системами: Framework может быть интегрирован в уже действующие системы мониторинга и безопасности для повышения их эффективности.

Заключение: DISARM Framework предоставляет структурированный подход к борьбе с дезинформацией и манипуляциями в цифровом пространстве, помогая выявлять угрозы, нейтрализовать их влияние и защищать пользователей от информационных атак.

3. Модель Mistral-Nemo-Instruct-2407

DISARM (англ. DISinformation ANAlytics and Reporting Method) — это фреймворк, разработанный для обнаружения и анализа дезинформации в онлайн-пространстве. Он был создан компанией Graphika в сотрудничестве с учеными, экспертами по безопасности и журналистами.

DISARM включает в себя несколько этапов:

**Обнаружение**: Фреймворк использует алгоритмы и инструменты для обнаружения потенциально дезинформационных аккаунтов и контента.
**Анализ**: После обнаружения подозрительных аккаунтов или контента, DISARM анализирует их с целью понять, как они функционируют и какую цель преследуют.
**Оценка**: Fреймворк оценивает найденную дезинформацию в зависимости от ее происхождения, мотивов, тактик распространения и последствий.
**Отчетность**: DISARM предоставляет подробные отчеты о найденной дезинформации, включая доказательства и контекст.

DISARM может использоваться для обнаружения дезинформационных кампаний в социальных сетях, блогах и других онлайн-площадках. Он также может помочь выявить тактики и стратегии, используемые распространителями дезинформации, а также их мотивы.

Применение DISARM в реальной жизни:

Например, журналисты или исследователи могут использовать DISARM для расследования подозрительных аккаунтов или контента в социальных сетях. Если они обнаруживают признаки дезинформационной кампании, они могут проанализировать и оценить найденную информацию, а затем предоставить отчет о своих находках.

DISARM может быть полезен для выявления дезинформационных нарративов, таких как фейковые новости или ложные утверждения, созданные с целью манипулирования общественным мнением. Однако стоит помнить, что DISARM — это инструмент, который должен использоваться в сочетании с человеческим суждением и критической оценкой информации.

В целом, фреймворк DISARM может помочь в борьбе с дезинформацией путем обеспечения прозрачности и предоставления точной информации о происхождении, мотивации и последствиях дезинформационных нарративов.

4. Модель Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf (после уточнения):

DISARM Framework также можно использовать для борьбы с дезинформацией, но это не его основная цель. Однако, фреймворк может быть модифицирован и адаптирован для анализа и оценки рисков по распространению дезинформации в информационных системах.

В этом контексте, DISARM Framework можно использовать для:

Анализа сетей и систем, через которые распространяется дезинформация.
Оценки риска уязвимости информационных систем перед атаками с использованием дезинформации.
Разработки рекомендаций по улучшению безопасности информационных систем и снижению рисков от дезинформации.

Например, DISARM Framework можно использовать для анализа:

* Сетей социальных медиа, через которые распространяется дезинформация.

* Систем управления контентом, которые могут быть уязвимы перед атаками с использованием дезинформации.

* Процессов модерации и блокирования контента, которые могут помочь сократить распространение дезинформации.

Однако, следует отметить, что DISARM Framework не является готовым решением для борьбы с дезинформацией. Он требует адаптации и модификации под конкретные задачи и потребности.

5. Модель Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
Используя AnythingLLM была вставлена ссылка на информацию про DISARM https://www.disarm.foundation/framework в используемцую модель Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf, запущенную как сервер в LM Studio.

DISARM Framework — это открытый фреймворк, разработанный для борьбы с дезинформацией в Интернете. Он является инструментом для координации действий и борьбы с дезинформацией на глобальном уровне.

Фреймворк DISARM был создан группой экспертов из различных отраслей, включая кибербезопасность, коммуникацию и социальные науки. Он основан на лучших практиках и исследовательских данных в области дезинформации и предназначен для помощи коммуникаторам, журналистам и другим профессионалам в выявлении и борьбе с дезинформацией.

Основные цели DISARM Framework:

Предоставление общего понимания дезинформации и ее влияния.
Координация действий для борьбы с дезинформацией на глобальном уровне.
Сокращение распространения дезинформации в Интернете.

Фреймворк DISARM включает в себя следующие компоненты:

База данных тактик и техник дезинформации (TTPs).
Система координации действий для борьбы с дезинформацией.
Instrumentarium для анализа и оценки рисков по распространению дезинформации.

DISARM Framework является бесплатным и открытым инструментом, доступным для всех желающих. Он может быть использован различными организациями и индивидуальными лицами для борьбы с дезинформацией и создания более безопасной и информативной Интернеты.

Выводы
Большие языковые модели (LLM) открывают огромные возможности для противодействия дезинформации. Необходимо учитывать существующие проблемы у доступных сейчас моделей, что требует тщательного и взвешенного подхода к выбору оптимальных по свойствам моделей и дополнительных усилий по их улучшению.

Дополнительная литература: