В эпоху информационных войн и массовой дезинформации автоматические системы анализа контента становятся незаменимым инструментом для фактчекеров и исследователей СМИ. В этой статье мы сравниваем два распространенных подхода к выявлению манипулятивного контента — классические методы обработки естественного языка (NLP) и новейшие технологии на базе больших языковых моделей (LLM).
В рамках исследования был проанализирован корпус видеоконтента с хештегом #беларусь социальной сети TikTok. Анализируемый период с 20 марта по 21 апреля 2025. Для сбора данных использовался Exolyt — TikTok Social Intelligence Platform. Анализу подверглись названия, описания и метки видеороликов. Но главный интерес представляет не содержание контента, а то, как разные технологические подходы оценивают одни и те же данные.
- Методология исследования
- Детальная методология двух подходов
- Классический подход с использованием NLTK
- Современный подход с использованием моделей OpenAI
- Сравнительный анализ результатов
- Ключевые слова и частотный анализ
- Разительные отличия в оценке эмоциональной окраски
- Оценка манипулятивности контента
- Интерпретация результатов: что показали два разных метода?
- Интерпретация результатов: что показали два разных метода?
- Что это значит для фактчекинга и медиаграмотности
- Техническая оценка двух подходов: стоимость, масштабируемость, доступность
- Практические сценарии применения: когда какой подход лучше
- Заключение и перспективы развития автоматизированного анализа медиаконтента
Методология исследования
Для сравнения двух подходов мы использовали общий набор данных — корпус из 12,252 видео с хештегом #беларусь, включая заголовки, описания и метаданные. Два различных алгоритма были применены к одним и тем же данным, что позволило напрямую сопоставить их эффективность, сильные и слабые стороны. Основные параметры анализа включали выделение ключевых слов (токенов), частотный анализ наиболее употребляемых слов и словосочетаний, оценку эмоциональной окраски по трем категориям (негатив, позитив, нейтрально) и определение уровня манипулятивности контента.
NLTK (Natural Language Toolkit) — это ведущая платформа с открытым исходным кодом для обработки естественного языка на Python, созданная в 2001 году и активно разрабатываемая сообществом. Библиотека предоставляет простые в использовании интерфейсы для работы с более чем 50 корпусами текстов и лексическими ресурсами, а также богатый набор инструментов для обработки текста: токенизации, стемминга, лемматизации, определения частей речи, синтаксического анализа, извлечения именованных сущностей и семантического анализа. NLTK включает обширную документацию и учебные материалы, что делает её популярной как среди исследователей, так и среди разработчиков, применяющих методы NLP для решения практических задач — от анализа тональности и классификации текстов до построения чат-ботов и систем информационного поиска. Благодаря своей модульной архитектуре и гибкости, NLTK продолжает оставаться одним из основных инструментов в арсенале специалистов по компьютерной лингвистике и анализу текстов, несмотря на появление новых библиотек, ориентированных на глубокое обучение.
Детальная методология двух подходов
Классический подход с использованием NLTK
Технология: Открытая библиотека Natural Language Toolkit (NLTK) с дополнительными алгоритмами токенизации и анализа.
Процесс обработки данных:
Первый этап предварительной обработки текста включал приведение текста к нижнему регистру, удаление пунктуации и специальных символов, удаление цифр и лишних пробелов, а также объединение текстовых полей (заголовок, описание, метки).
Затем следовала токенизация – разбиение текста на отдельные слова с использованием NLTK word_tokenize, удаление стоп-слов из русского и английского языков (предлоги, союзы и т.д.) и фильтрация слов короче 3 символов.
Эмоциональный анализ осуществлялся путем поиска слов из предопределенных словарей эмоциональных маркеров, подсчета количества слов каждой категории и определения доминирующей эмоции по максимальному количеству маркеров.
Для оценки манипулятивности применялась формула: manipulation_score = emotion_негатив * 1.5 - emotion_позитив с последующей нормализацией показателя относительно среднего значения и определением порога манипулятивности (среднее + стандартное отклонение).
Завершающей стадией был процесс формирования результатов, включавший частотный анализ слов и биграмм (пар слов), классификацию контента по эмоциональной окраске и выделение потенциально манипулятивного контента.
Особенности реализации: Обработка данных проводилась частями для экономии памяти, была предусмотрена запасная система токенизации при отсутствии NLTK, а визуализация результатов осуществлялась с помощью matplotlib/plotly.
Современный подход с использованием моделей OpenAI
Технология: API OpenAI с моделью GPT-4o-mini
Процесс обработки данных:
Начальный этап включал формирование запроса – объединение текстовых полей (заголовок, описание, метки) и отправку полного текста без предварительной обработки.
Далее следовала работа с системным промптом для модели, в котором содержались инструкции по анализу текста, извлечению ключевых слов, оценке эмоциональной окраски и определению уровня манипулятивности.
Обработка ответа модели предполагала извлечение структурированных данных из JSON-ответа, сохранение токенов, эмоциональных оценок и показателя манипулятивности, а также определение доминирующей эмоции на основе оценок модели.
Финальный этап – агрегация результатов включал подсчет частоты токенов и биграмм, расчет средних показателей по эмоциональным категориям, определение порога манипулятивности и выделение контента с высоким уровнем манипулятивности.
Особенности реализации: Использовался структурированный формат ответа (JSON), были предусмотрены паузы между запросами для соблюдения лимитов API и механизмы обработки ошибок с возвратом к нейтральным значениям при сбоях.
Сравнительный анализ результатов
Ключевые слова и частотный анализ
Оба метода выделили похожие ключевые слова в контенте, что свидетельствует о базовом уровне согласованности. На представленных облаках слов из отчетов видно, что слово «беларусь» является наиболее частотным в обоих случаях, за ним следуют «новости», «рекомендации», «минск», «лукашенко».
NLTK:
OpenAI:
Примечательно, что визуальное представление облаков слов выглядит очень похожим при обоих подходах, несмотря на разницу в методологии. Это может объясняться тем, что алгоритм визуализации облака слов был идентичным в обоих скриптах, а основные часто встречающиеся слова действительно совпадают. Подобное совпадение подтверждает базовую достоверность обоих подходов в выделении ключевых тем контента, даже при существенных различиях в оценке эмоциональной окраски и манипулятивности.
Однако при более детальном рассмотрении частотных гистограмм заметны различия:
В NLTK-методе слово «беларусь» встречается около 14,025 раз, а следующее за ним слово «новости» — 3,189 раз. В OpenAI-методе слово «беларусь» встречается около 8,258 раз, «новости» — 2,652 раз.
NLTK:
OpenAI:
Эти различия объясняются разными принципами токенизации и выделения ключевых слов. Модель OpenAI стремится выделять более значимые слова с информационной нагрузкой, тогда как NLTK-метод работает с формальной частотой встречаемости.
В топ-15 пар слов также наблюдаются существенные отличия: NLTK-метод выделяет пары: «брест минск» (385), «экономика политика» (371), «политика МИД» (369), а OpenAI-метод выделяет: «беларусь беларусь» (1,723), «беларусь лукашенко» (615), «минск беларусь» (527).
NLTK:
OpenAI:
Это свидетельствует о разных подходах к формированию биграмм: OpenAI учитывает близость слов в тексте, тогда как NLTK-метод анализирует скорее тематическую связанность.
Разительные отличия в оценке эмоциональной окраски
Наиболее драматичное расхождение между двумя системами касается оценки эмоциональной окраски контента. Когда мы анализировали один и тот же набор данных о видео с хештегом #беларусь, результаты распределились следующим образом:
NLTK:
NLTK-метод показал крайне несбалансированное распределение с преобладанием негативной оценки:
- 96.3% негативного (11,796 видео)
- 3.1% позитивного (388 видео)
- 0.6% нейтрального (68 видео)
Однако OpenAI-метод дал совершенно иную, более сбалансированную картину:
- 51.5% нейтрального (6,308 видео)
- 30.2% позитивного (3,702 видео)
- 18.3% негативного (2,236 видео)
Это расхождение можно объяснить разными подходами к определению эмоциональной окраски. NLTK-подход опирается на словари эмоциональных маркеров и автоматически классифицирует большинство политического контента как негативный из-за наличия определенных ключевых слов, без учета их контекста. В свою очередь, OpenAI-подход учитывает более широкий контекст и способен определять нейтральные информационные сообщения даже при наличии политической тематики.
NLTK:
OpenAI:
Интересно также рассмотреть средние оценки эмоциональной окраски, которые демонстрируют разные шкалы:
- В NLTK-методе: негативная — 0.03, позитивная — 0.05, нейтральная — 0.01
- В OpenAI-методе: нейтральная — 5.01, позитивная — 3.32, негативная — 1.74
Оценка манипулятивности контента
В оценке манипулятивности контента методы также продемонстрировали существенные различия:
NLTK:
NLTK-метод показал одномодальное распределение с концентрацией большинства оценок в районе низких значений (1-2 по шкале от 0 до 10) и лишь небольшое количество контента с высокими значениями манипулятивности. Это объясняется тем, что метод использует простую математическую формулу (манипулятивность = негатив*1.5 - позитив), что дает однозначную корреляцию с эмоциональной окраской.
OpenAI:
OpenAI-метод продемонстрировал многомодальное распределение с несколькими пиками в районе значений 5.0, 6.0 и 7.0 по шкале манипулятивности, с порогом манипулятивности около 7.20. Это отражает более комплексный подход к анализу манипулятивности, учитывающий не только эмоциональную окраску, но и различные риторические приемы, логические манипуляции и другие тонкие аспекты воздействия.
NLTK:
OpenAI:
Эмоциональный профиль потенциально манипулятивного контента также различается:
- По NLTK-методу: преобладание негатива (1.06), очень низкие оценки нейтральности (0.07) и позитива (0.02)
- По OpenAI-методу: высокие оценки негатива (6.46), средние оценки нейтральности (2.55) и низкие позитива (1.75)
Эти различия наглядно демонстрируют, насколько по-разному два метода подходят к выявлению манипулятивности в контенте, что имеет серьезные последствия для практического применения этих инструментов в фактчекинге.
Интерпретация результатов: что показали два разных метода?
Столь значительные расхождения в результатах двух методов требуют тщательного анализа и интерпретации.
Различное понимание «эмоциональности» текста проявляется в том, что NLTK-подход определяет эмоциональную окраску на основе присутствия конкретных слов-маркеров из предопределенного словаря, без учета контекста их употребления. Слово «война» автоматически классифицируется как негативное, независимо от контекста, что приводит к завышенной оценке негативности при анализе политических тем. OpenAI-подход оценивает эмоциональную окраску на основе более комплексного понимания текста, способен различать нюансы и оттенки значений в определенном контексте.
Пример из нашего корпуса данных: «Беларусь: новости региона, политическая ситуация, аналитические материалы». NLTK классифицирует этот текст как негативный из-за присутствия политической тематики, тогда как OpenAI может классифицировать его как нейтральный, учитывая информационную, а не оценочную природу контента.
Разные концепции «манипулятивности» проявляются в том, что NLTK-подход определяет манипулятивность через упрощенную математическую формулу, основанную на количественном соотношении эмоционально окрашенных слов. OpenAI-подход оценивает манипулятивность на основе более сложного анализа, учитывающего риторические приемы, логические структуры и другие признаки манипуляции, которые простой словарный подход может не уловить.
Существенную роль в таком драматическом расхождении результатов играет политический контекст контента с хештегом #беларусь. NLTK, опирающийся на словари эмоциональных маркеров, склонен классифицировать политическую тематику как негативную из-за часто встречающихся терминов, связанных с конфликтами, властью, противостоянием. OpenAI, имеющий более развитое понимание контекста, способен различать нейтральное информационное освещение от эмоционально окрашенной пропаганды.
Интерпретация результатов: что показали два разных метода?
Столь значительные расхождения в результатах двух методов требуют тщательного анализа и интерпретации.
Различное понимание «эмоциональности» текста проявляется в том, что NLTK-подход определяет эмоциональную окраску на основе присутствия конкретных слов-маркеров из предопределенного словаря. Слово «война» автоматически классифицируется как негативное, «победа» — как позитивное, независимо от контекста. OpenAI-подход оценивает эмоциональную окраску на основе совокупного понимания текста, включая контекст, подтекст и скрытые смыслы. Фраза «очередная блестящая победа» может быть распознана как ирония и классифицирована как негативная.
Пример из нашего корпуса данных: «Беларусь: новости региона, политическая ситуация, аналитические материалы». NLTK классифицирует этот текст как нейтральный, поскольку в нем нет очевидных эмоциональных маркеров. OpenAI может классифицировать его как потенциально негативный, учитывая контекст политических новостей в текущей ситуации.
Разные концепции «манипулятивности» проявляются в том, что NLTK-подход определяет манипулятивность через математическую формулу, основанную на соотношении негативных и позитивных слов. Этот подход предполагает, что манипулятивный контент — это преимущественно негативный контент. OpenAI-подход оценивает манипулятивность на основе сложного понимания риторических приемов, логических ошибок, эмоционального давления, искажения фактов и других признаков манипуляции, которые могут присутствовать даже в формально позитивном или нейтральном тексте.
Существенную роль в таком драматическом расхождении результатов может играть политический контекст контента с хештегом #беларусь. Большая языковая модель, обученная на огромном корпусе текстов, включая новостные и аналитические материалы, может «понимать» сложный политический контекст и улавливать скрытые смыслы и подтексты, связанные с освещением политической ситуации в регионе.
Что это значит для фактчекинга и медиаграмотности
Выявленные расхождения между двумя подходами имеют серьезные последствия для работы фактчекеров и исследователей медиа.
Методологические вызовы включают проблему «золотого стандарта», то есть вопрос о том, какой из методов ближе к истине, при этом вполне вероятно, что истина находится где-то посередине или требует принципиально иного подхода; субъективность оценок, когда даже продвинутые алгоритмы отражают субъективные представления о том, что считать манипуляцией, а что — легитимным убеждением; контекстуальную зависимость, которая проявляется в том, что оценка манипулятивности сильно зависит от культурного, социального и политического контекста, что затрудняет создание универсальных алгоритмов.
На основе нашего исследования мы рекомендуем фактчекинговым организациям применять триангуляцию методов, используя несколько разных алгоритмических подходов для проверки согласованности результатов; настраивать пороговые значения, калибруя порог «манипулятивности» на основе экспертной оценки выборки контента; внедрять человеческий контроль, поскольку автоматические системы должны выступать инструментом поддержки решений экспертов, а не их заменой; учитывать сильные стороны разных подходов, принимая во внимание, что NLTK-подход дает более сбалансированную оценку эмоциональной окраски, а OpenAI-подход может быть полезен для выявления скрытых манипулятивных техник; адаптировать технологии под локальный контекст, разрабатывая специализированные словари эмоциональных маркеров для конкретных тем и языков; обеспечивать прозрачность методологии, публично раскрывая применяемые методы анализа и их ограничения при публикации результатов фактчекинга.
Результаты нашего исследования подчеркивают необходимость обучения широкой аудитории распознаванию различных типов манипуляций, выходящих за рамки явно негативного эмоционального окрашивания; развития критического мышления и навыков анализа медиаконтента; понимания, что автоматические системы анализа, включая продвинутые ИИ-модели, имеют свои ограничения и предвзятости.
Техническая оценка двух подходов: стоимость, масштабируемость, доступность
Для принятия обоснованных решений о внедрении технологий важно учитывать не только их точность, но и практические аспекты использования.
В области стоимости и ресурсов NLTK-подход является полностью бесплатным, использует только открытое ПО, работает локально без подключения к интернету, требует умеренные вычислительные ресурсы, а обработка 12,252 видео заняла около 20 минут. OpenAI-подход требует оплаты API-запросов (примерная стоимость анализа нашего корпуса ~$100-150), зависит от стабильного интернет-соединения, создает минимальную нагрузку на локальные ресурсы, а обработка того же объема данных заняла около 1-2 часов с учетом задержек API.
В плане масштабируемости и производительности NLTK-подход легко масштабируется для обработки больших объемов данных, его производительность можно увеличить за счет параллельной обработки, а скорость обработки прямо пропорциональна доступным вычислительным ресурсам. OpenAI-подход ограничен квотами и скоростью API, его масштабирование повышает стоимость пропорционально объему данных, требуется управление очередями запросов и обработка ошибок.
Гибкость и возможность настройки в NLTK-подходе проявляется в полной прозрачности и настраиваемости, возможности модифицировать словари эмоциональных маркеров, изменять алгоритмы токенизации и формулы оценки, но требуется экспертиза в Python и NLP для существенных модификаций. OpenAI-подход предлагает ограниченные возможности настройки через промпт-инжиниринг, внутренняя работа модели непрозрачна (черный ящик), модель регулярно обновляется провайдером, что может влиять на результаты, но не требует глубокой технической экспертизы для базового использования.
В аспекте доступности и требований к инфраструктуре NLTK-подход работает на любом компьютере с Python, не требует специализированного оборудования, может быть развернут в изолированной сети и подходит для обработки конфиденциальных данных. OpenAI-подход требует постоянного подключения к интернету, данные отправляются на серверы третьей стороны, может быть ограничен геополитическими факторами и не подходит для обработки строго конфиденциальной информации.
Практические сценарии применения: когда какой подход лучше
На основе нашего сравнительного анализа можно выделить оптимальные сценарии использования для каждого подхода.
OpenAI-подход оптимален для более сбалансированной оценки эмоциональной окраски контента, особенно при работе с политически окрашенными темами; для углубленного анализа сложного контента, при расследовании изощренных информационных кампаний, для выявления скрытых манипуляций и подтекстов, при работе с контентом, требующим понимания культурного контекста; для организаций с ограниченной технической экспертизой, когда нет собственных специалистов по NLP, при необходимости быстрого запуска аналитической системы.
NLTK-подход оптимален для первичного скрининга больших объемов данных с целью выявления потенциально негативного контента, требующего дальнейшего анализа; для работы в условиях ограниченного доступа к сети, в регионах с нестабильным интернет-соединением, в организациях с строгими политиками информационной безопасности, при работе с конфиденциальными или чувствительными данными; для создания специализированных решений, когда требуется точная настройка под конкретную тематику или язык, при необходимости полного контроля над алгоритмом, для интеграции в существующие системы мониторинга. При этом следует учитывать тенденцию этого метода к классификации большинства политического контента как негативного.
Гибридный подход рекомендуется для профессиональных фактчекинговых организаций – использование NLTK для первичного выявления потенциально проблемного контента с последующим более глубоким анализом с помощью OpenAI для более сбалансированной оценки, завершаемой экспертной оценкой для итоговых выводов и публикаций; для исследовательских центров и аналитических агентств – сравнительный анализ результатов разных подходов, комбинирование количественных и качественных методов, разработка новых метрик и методологий на основе лучших практик обоих подходов.ных техник, в образовательных проектах по медиаграмотности.
Гибридный подход рекомендуется для профессиональных фактчекинговых организаций – NLTK для первичного скрининга и отбора подозрительного контента, OpenAI для углубленного анализа отобранных материалов, экспертная оценка для итоговых выводов и публикаций; для исследовательских центров и аналитических агентств – сравнительный анализ результатов разных подходов, комбинирование количественных и качественных методов, разработка новых метрик и методологий на основе лучших практик обоих подходов.
Заключение и перспективы развития автоматизированного анализа медиаконтента
Наше исследование наглядно демонстрирует, что автоматизированный анализ медиаконтента находится на перепутье традиционных алгоритмических подходов и новых возможностей искусственного интеллекта. Каждый метод имеет свои сильные и слабые стороны, и идеального решения, подходящего для всех задач, не существует.
Драматическая разница в результатах оценки одного и того же корпуса данных двумя разными методами подчеркивает необходимость критического отношения к автоматизированным инструментам анализа. Особенно показательно, что NLTK-метод классифицировал подавляющее большинство контента (96.3%) как негативный, в то время как OpenAI-метод дал более сбалансированную оценку с преобладанием нейтрального контента (51.5%).
Это расхождение демонстрирует, насколько сильно результаты анализа могут зависеть от выбранного метода, что имеет серьезные последствия для исследователей медиапространства и фактчекеров. При использовании автоматизированных систем для мониторинга медиаконтента необходимо осознавать возможную предвзятость алгоритмов и принимать ее во внимание при интерпретации результатов.
Ни один алгоритм не может заменить экспертную оценку и критическое мышление, но грамотное применение технологий может существенно повысить эффективность работы фактчекеров и исследователей медиа. Наиболее продуктивным подходом представляется комбинирование различных методов анализа с последующей экспертной оценкой результатов.
В ближайшие годы мы, вероятно, увидим развитие нескольких направлений: специализированных моделей для анализа медиаконтента, обученных на примерах манипулятивных техник; локальных вариантов больших языковых моделей, не требующих отправки данных на внешние серверы; интерактивных инструментов, сочетающих автоматический анализ с экспертной оценкой; образовательных платформ, использующих ИИ для обучения граждан медиаграмотности.
Вне зависимости от технологического прогресса, ключевым фактором успеха останется человеческая экспертиза, критическое мышление и приверженность высоким этическим стандартам в борьбе с дезинформацией и манипуляциями. Автоматизированные системы должны рассматриваться как инструменты поддержки принятия решений, а не как замена экспертной оценке.
