Компенсація Знаку Зодіаку
Субстанційність С Знаменитості

Дізнайтеся Сумісність За Знаком Зодіаку

Аналіз: краудсорсинговий експеримент Twitter з перевірки фактів виявляє проблеми

Аналіз

Аналіз Poynter показав, що менше половини користувачів Birdwatch включають джерела, а багато приміток для перевірки фактів містять прихильну риторику.

Версія алгоритму Birdwatch від Twitter від 14 лютого доповнила деякі нотатки оманливою інформацією.

5 лютого Twitter позначився пост від суперечливого ютубера Тіма Пула що стверджує, що президентські вибори в США 2020 року були сфальсифікованими. Платформа зазначила, що претензія була оскаржена і припинила співпрацю «через ризик насильства».

Але, далі Догляд за птахами , платформа соціальних мереж експеримент з краудсорсингової перевірки фактів , згідно з аналізом даних Twitter від 14 лютого, більшість користувачів заявили, що твіт не вводить в оману. І більшість користувачів Birdwatch вказали в інструменті, що вони знайшли ці нотатки, які підтримують спростовані твердження, корисними та інформативними.

«Згідно з офіційною (sic) джерелом TIME, була добре організована група таємних учасників тіньової організації, яка схожа на змову, яка працювала разом, щоб схилити вибори на користь Джо Байдена», – йдеться в одній нотатці. Поки користувач включає посилання на стаття журналу Time що дійсно використовує такі слова, як «змова» та «змова», контекст статті — що потужні групи працювали за лаштунками, щоб захистити цілісність виборів — втрачено.

The Алгоритм спостереження за птахами , метою якого є відображення корисних нотаток, присвоїв цій «перевірці фактів» оцінку корисності 0,68 — найвищу з нотаток у твіті, лише за межами 10% найпопулярніших нотаток, які за алгоритмом «оцінюються як корисні» станом на 14 лютого. Корисні нотатки склали близько 7% з 2695 в цьому аналізі, і менше ніж дві третини з них містять посилання на джерело, яке не є ще одним твітом.

17 лютого Twitter змінив свій алгоритм і нотатки в твіті Pool більше не оцінюються як корисні, хоча вони все ще вказані під дописом . До цієї зміни існував нижчий поріг, який можна було вважати корисним — лише 0,5 порівняно з новим порогом 0,84 — і для того, щоб нотатки були в розгляді, потрібно було лише три оцінки, розставлені в порядку пріоритету та позначені синьою міткою.

Тепер нотатка повинна отримати п’ять рейтингів, щоб помістити цей твіт нова вкладка «Оцінка корисної» в Birdwatch . І з цих майже 2700 нотаток у базі даних платформи 126 досягли нового порогу — це менше 5%. Три чверті нових «корисних» нотаток містили джерело за межами Twitter.

Це своєчасна ілюстрація однієї з проблем, з якими стикається модель Birdwatch: чи може алгоритм, який живить, здавалося б, випадковою групою людей, коли-небудь точно «оцінити» істину?

Birdwatch, на пілотній фазі з трохи більше ніж 1000 користувачів, дозволяє учасникам позначати твіти як оманливі та додавати примітку, яка посилається на джерело та/або пояснює контекст, чому це може вводити в оману. Потім користувачі Birdwatch можуть ранжувати ці нотатки на основі корисності (після цього бере на себе алгоритм).

Згодом усі користувачі Twitter, начебто, зможуть побачити ці нотатки прямо під твітами, але наразі вони обмежуються певний розділ сайту . Користувачі Birdwatch також в кінцевому підсумку створять оцінку репутації, яка вплине на алгоритм корисності.

«Наша мета з пілотною програмою Birdwatch — побудувати систему, у якій кожен може зробити свій внесок, і яка, природно, підвищить інформацію, яку люди вважають корисною», — сказав віце-президент Twitter з продукту Кіт Коулман у електронному листі. «Ми віримо, що відкритість щодо того, хто може зробити свій внесок, важлива, і що завдяки внеску різноманітної групи можна підняти найкорисніші нотатки».

Але погляд на систему, якою вона є зараз, виявляє проблеми, які фактчекери порушили щодо Birdwatch: відсутність досвіду перевірки фактів серед користувачів, складність створення алгоритму, який якимось чином показуватиме корисні нотатки найвідоміших користувачів та питання про сторонні мотиви користувачів.

«Я не здивований цими висновками, враховуючи поляризований характер платформ соціальних медіа та вагання основних користувачів щодо надання зворотного зв’язку на такі запити, які пропонують платформи, тоді як мотивовані користувачі з обох сторін бачать платформи як поле бою для просування своїх розповідей. інші», – сказав Бейбарс Орсек, директор Міжнародної мережі перевірки фактів.

Більшість приміток найплідніших користувачів Birdwatch позначають твіти, які критикують правих, як «вводять в оману», а ті, що критикують лівих, як «не вводять в оману». (Наприклад, користувач позначив твіт із написом « Команда Байдена м’яко ставиться до Китаю ” від сенатора Теда Круза та твіту The Pool як «не вводить в оману»; поки стаття Newsweek про ультраправих екстремістів і сагу GameStop і твіт пов’язування президента Дональда Трампа з бунтом на Капітолії були позначені як «оманливі» та «шкідливі».) І менше однієї п’ятої з 82 нотаток користувача містять джерело, деякі з яких є іншими твітами. (Цей користувач Birdwatch не відповів на запит на інтерв’ю.)

Коулман сказав, що Birdwatch можна спонукати розглядати нотатки, які надходять від «різноманітної групи учасників». Крім того, система рейтингів є основним драйвером платформи

«Ми віримо, що це винагородить і стимулюватиме внески, які багато людей вважають цінними, і подолає ризик того, що одна конкретна група чи ідеологія захопить Birdwatch», – сказав Коулман. «Це те, над чим ми будемо активно працювати протягом пілотного періоду».

І справді, нотатки, які алгоритм оцінив як найкорисніші після змін від 17 лютого, показують більш надійні джерела та менш пристрастну риторику, ніж ітерація лише днем ​​раніше. Але зміна алгоритму для пілотної програми з 1000 користувачів і менш ніж 2700 нотаток – це одна справа, а зміна алгоритму після того, як Birdwatch стане доступним для всіх користувачів, це інша – і хто знає, чи ефективність алгоритму витримає, коли користувачі почнуть лити. на платформу, можливо, відтворюючи поведінку деяких з найбільш плідних учасників пілотного проекту.

«Наразі у нас немає конкретного терміну для масштабування, оскільки ми працюємо над тим, щоб дізнатися якомога більше і повторювати, поки пілот невеликий», – сказав Коулман. «Ми плануємо розширюватися, оскільки ми можемо це робити безпечно, і коли це може допомогти покращити навчання».

Однак, як і примітки під твітом Пулу, є приклади партизан або оманлива інформація все ще видно як звичайні нотатки.

Чотири з п’яти найактивніших користувачів, на які припадає понад 10% загальних нотаток, мають подібну активність, що й найплідніший користувач. Один із них стверджує, що смерть Джеффрі Епштейна ніколи не вважалася самогубством. Однак другий за плідністю Birdwatcher посилається на джерело в кожній нотатці, включаючи посилання з Всесвітньої організації охорони здоров’я та FactCheck.org .

Жоден із 10 найкращих користувачів, згідно з їхніми біографіями Twitter, не є професійними перевірками фактів чи журналістами.

«Перевірка фактів — це насправді важка робота, оскільки вона вимагає розумового навантаження», — сказала в електронному листі головний редактор PolitiFact Енджі Холан. «Ви дійсно повинні зосередитися та протиснути розумову інерцію, щоб визначити претензії, а потім провести мозковий штурм, щоб розвінчати чи перевірити їх. Потім вам доведеться виконати пошук, а потім записати результати. Це не день на пляжі, прямо кажучи. І якщо фактчекер має прихильнику мотивації, це робить ретельну та безсторонню роботу ще складніше».

Незважаючи на свої проблеми, Birdwatch позначає дезінформацію, яку традиційні перевірки фактів можуть пропустити або вирішити не перевіряти через потенційну шкоду, що може допомогти заповнити деякі прогалини в цифровій дезінформації. Під час гра стоп сага , дезінформація про акції цієї компанії швидко поширюється на платформах.

Сноуси і PolitiFact поки не оцінив претензії щодо GameStop Оцінка Lead Stories один пост на Reddit. Але на Birdwatch нотатка з найвищим рейтингом — оцінка корисності 1,00 — позначила оманливий твіт про Reddit, де йшла розмова про акції. Було близько 50 нотаток про Reddit, GameStop і інвестиційний додаток Robinhood, на початку цього місяця відбувся великий обсяг торгівлі.

А користувачі Birdwatch правильно позначили обліковий запис, який стверджує, що належить сенатці від штату Вірджинія Аманді Чейз, як підроблений, після цього твітнув , «…У нас у Вірджинії є проблема з наркотиками, і легалізація марихуани призведе до збільшення кількості передозування марихуаною та смертей…»

За словами Орсека, краудсорсинг може полегшити життя професійних перевіряючих факти, виявляючи дезінформацію.

Коулман сказав, що Twitter прагне підтримувати прозорість — що зробило цей аналіз можливим — і включати внесок експертів щодо майбутнього платформи.

«Від роботи з вбудованим членом команди з Центр RISC Чиказького університету , щоб проводити сеанси зворотного зв’язку з журналістами та дослідниками, ми працюємо над тим, щоб скористатися величезним обсягом досвіду та знань, які існують за межами Twitter», – сказав він.

Холан і Орсек рекомендують заохочення та навчання для користувачів Birdwatch, а також використовувати професійні перевірки фактів для перевірки високопоставлених нотаток.

«Але я дуже сумніваюся щодо технологічних компаній, які вважають, що їхні користувачі будуть модерувати контент безкоштовно для них», – сказав Холан. «Більшість користувачів не вважають своїм завданням допомагати платформам вести власний бізнес».