Чи є PolitiFact упередженим? Цей аналіз вмісту говорить ні

Це критика PolitiFact давно звик до слуху.

«PolitiFact займається значною упередженістю відбору», — The Weekly Standard писав у 2011 році . «Перевірки фактів» переважно націлені на правих полісів і експертів» заголовок квітня 2017 року від NewsBusters, сайту, метою якого є викриття та боротьба з «ліберальними упередженнями ЗМІ». Є навіть цілий блог присвячений показу упередженості PolitiFact.

Проект перевірки фактів, яким належить Пойнтер, відкинув ці звинувачення, вказавши на його прозорість методологія і фінансування (а також його членство в Міжнародній мережі перевірки фактів) як доказ того, що вона не має політичних переконань. І тепер у PolitiFact є академічне дослідження, яке підтвердить це.

Звіт, опубліковані дослідниками в Університеті Вашингтона та Університету Карнегі-Меллона в березні аналізує мову, опубліковану PolitiFact про демократів і республіканців, щоб побачити, як організація підставила ораторів з обох сторін. Він також включає зовнішній аналіз, який порівнює, як PolitiFact формулює проблеми з тим, як це роблять ЗМІ.

У звіті, який PolitiFact вперше надіслав Пойнтеру, використано автоматизований аналіз тексту приблизно 10 000 статей, датованих 2007 роком, причому більшість із них – у період з 2010 по 2017 рік. Розділивши за партіями, статей про республіканців приблизно в 1,4 рази більше, ніж про демократів. Колишній президент Барак Обама був найбільш охопленим доповідачем у вибірці, з близько 600 статей.

Враховуючи шестибальну шкалу PolitiFact, яка варіюється від «Правда» до «Штани у вогні!», рейтинги розподіляються досить рівномірно. Розділений за партіями, проект перевірки фактів зазвичай призначає більше правдивих рейтингів демократам і більше хибних рейтингів республіканцям, якщо поправити їх на різницю в кількості опублікованих статей про кожну групу.

(знімок екрана)

Згідно зі звітом, для конкретних політиків найбільш часто використовуваний рейтинг Обами є «в основному правдивим», тоді як Дональд Трамп — «неправдивим». Однак, якщо розділити їх на основні теги кожної статті, висвітлення PolitiFact виглядає відносно збалансованим.

(знімок екрана)

У трійці найбільш висвітлюваних тем PolitiFact є економіка, охорона здоров’я та податки — усі вони рівномірно розподілені між республіканцями та демократами. А сторонні питання, такі як імміграція та зброя, можуть мати більше відношення до того, наскільки кожна сторона говорить про ці проблеми, а не від того, як їх формулює PolitiFact, згідно зі звітом.

«Внутрішньопредметний поділ схожий на загальний поділ між партіями», – йдеться у ньому. «Таким чином, ми не очікуємо, що будь-які розбіжності у мовах, які ми знайдемо між двома сторонами, будуть сильно ґрунтуватися на змісті статей».

Тому дослідники далі розбивали кожну статтю, за якими словами, швидше за все, правильно передбачити історію про республіканця чи демократа. Для цього вони використовували статистичні методи та моделі обробки природної мови, видаляючи будь-які цитати чи інший текст, який не написав письменник.

З огляду на попередні аналізи звіту, те, що вони знайшли, було досить несподіваним — статті про республіканців асоціювалися зі словами «республіканець» і «неправда», а статті про демократів — зі словами «демократ» і «правда».

(знімок екрана)

Коли дослідники видалили будь-які слова, очевидно пов’язані з будь-якою партією, вони виявили, що історії з демократами, як правило, передбачалися такими словами, як «допомогли» та «подумати», тоді як історії про республіканців передбачили «Лисиця» та «згідно».

(знімок екрана)

То що це говорить про ймовірну упередженість PolitiFact? Не так багато, на думку дослідників.

«Ця частина нашого аналізу не виявила очевидних відмінностей у мові, яка використовується для опису осіб кожної зі сторін у спосіб, який показує будь-які ознаки упередженості чи різного ставлення», — пишуть вони.

У зовнішньому аналізі дослідники не прийшли до інших висновків. Вони провели класифікацію настроїв на основі попередньо визначених списків позитивних і негативних термінів і виявили, що PolitiFact використовує більше негативних і позитивних слів для республіканців, статті про які в середньому були довшими.

(знімок екрана)

«З цього простого аналізу ми робимо висновок, що, якщо існує різниця в настроях між аналізом PolitiFact демократів і республіканців, то це виражено тонко та або в певний предметний спосіб», – йдеться у звіті.

Є деякі обмеження. Через дисбаланс статей про республіканців і демократів текстова класифікація могла передбачити лише з 58-відсотковою точністю партію з набору слів. Дослідники також не проводили більш глибокого аналізу настроїв щодо вмісту PolitiFact, частково через високу вартість, а частково через те, що люди-анотатори можуть суб’єктивно реагувати на оцінки перевірки фактів.

Але PolitiFact добре сприймає те, що говориться у звіті.

«Це, безумовно, підкріплює те, як ми намагаємося діяти та вести себе. Тому, звичайно, ми раді, що не бачимо жодних червоних прапорів», – сказав виконавчий директор Аарон Шарокман у повідомленні. «Але як перевіряючий факти, який ретельно вивчав багато досліджень, ми також не повинні надавати цьому дослідженню більшу вагу, ніж воно варте. Це лише один погляд на мову та слова, які ми використовуємо для перевірок фактів».

«Ми не можемо перестати думати про способи підвищити нашу довіру для всіх аудиторій».

Звіт є частиною грант у розмірі 50 тис яку Knight Foundation нагородив PolitiFact у червні минулого року, щоб підвищити довіру до перевірки фактів і звернутися до скептично налаштованої аудиторії. Минулої осені члени організації з перевірки фактів подорожували до трьох штатів, де переважають консервативні виборці, і проводили форуми, індивідуальні зустрічі та заходи громади, щоб зв’язатися та відповісти на запитання. PolitiFact також найняв двох колишніх політиків (по одному від кожної партії) для критики своєї роботи.

Ці зусилля були частково натхненні опитування Rasmussen Reporters з вересня, який виявив, що 88 відсотків прихильників Трампа не довіряють перевірці фактів ЗМІ. І мовний аналіз PolitiFact виглядає як гарна відсіч цим висновкам.

«Наш аналіз не зміг виявити жодних систематичних відмінностей у ставленні до демократів і республіканців у статтях PolitiFact», – йдеться у висновку дослідження.

Але в подальшому електронному листі Пойнтеру Ной Сміт, один із співавторів звіту, додав застереження до висновків.

«Це може бути тому, що насправді нічого знайти, або тому, що наші інструменти недостатньо потужні, щоб знайти те, що там є», — сказав він.