Análise: o experimento de checagem de fatos crowdsourced do Twitter revela problemas

Análise

Uma análise do Poynter descobriu que menos da metade dos usuários do Birdwatch incluem fontes e muitas notas de verificação de fatos contêm retórica partidária.

Uma versão de 14 de fevereiro do algoritmo Birdwatch do Twitter ampliou algumas notas com informações enganosas.

Em 5 de fevereiro, o Twitter sinalizou uma postagem do controverso YouTuber Tim Pool que disse que a eleição presidencial dos EUA de 2020 foi fraudada. A plataforma observou que a reivindicação foi contestada e desativou o envolvimento “devido ao risco de violência”.

Mas, em Birdwatch , a plataforma de mídia social experimento em checagem de fatos por crowdsourcing , a esmagadora maioria dos usuários disse que o tweet não era enganoso, de acordo com uma análise de dados do Twitter em 14 de fevereiro. E a maioria dos usuários do Birdwatch indicou na ferramenta que considerou úteis e informativas essas notas que apoiavam as afirmações desmascaradas.



“De acordo com a fonte oficial (sic) da TIME, havia um grupo bem organizado de participantes secretos em uma organização fantasma que soa como uma conspiração que trabalhou em conjunto para influenciar a eleição em favor de Joe Biden”, diz uma nota. Enquanto o usuário inclui um link para um artigo da Time Magazine que de fato usa palavras como “cabala” e “conspiração”, o contexto da peça - que grupos poderosos estavam trabalhando nos bastidores para proteger a integridade eleitoral - está perdido.

O Algoritmo Birdwatch , que visa trazer à tona notas úteis, atribuiu a essa 'verificação de fatos' uma pontuação de utilidade de 0,68 - a mais alta das notas no tweet, apenas fora dos 10% principais de notas consideradas pelo algoritmo 'classificado como útil' a partir de 14 de fevereiro. As notas com classificação útil representaram cerca de 7% dos 2.695 nesta análise e menos de dois terços delas contêm um link de origem que não é outro tweet.

Em 17 de fevereiro, Twitter alterou seu algoritmo e as notas sobre o tweet do Pool não são mais consideradas úteis, embora ainda estão listados abaixo da postagem . Antes dessa mudança, havia um limite inferior a ser considerado útil - apenas 0,5 em comparação com o novo corte de 0,84 - e as notas precisavam de apenas três avaliações para serem consideradas úteis, priorizadas em ordem e marcadas com uma nota azul.

Agora, uma nota deve acumular cinco avaliações para empurrar esse tweet para o nova guia “classificado como útil” no Birdwatch . E dessas quase 2.700 notas no banco de dados da plataforma, 126 atingiram o novo limite - isso é menos de 5%. Três quartos das novas notas “avaliadas como úteis” continham uma fonte fora do Twitter.

É uma ilustração oportuna de um dos problemas enfrentados pelo modelo Birdwatch: um algoritmo alimentado por um grupo aparentemente aleatório de pessoas pode “avaliar” com precisão a verdade?

O Birdwatch, em sua fase piloto com pouco mais de 1.000 usuários, permite que os participantes sinalizem tuítes como enganosos e adicionem uma nota que cite uma fonte e / ou explique o contexto de porque pode ser enganoso. Em seguida, os usuários do Birdwatch podem classificar essas notas com base na utilidade (depois disso, o algoritmo assume).

Trump quer cortar a previdência social

Eventualmente, todos os usuários do Twitter serão aparentemente capazes de ver essas notas logo abaixo dos tweets, mas por enquanto, eles estão confinados a uma seção específica do site . Os usuários do Birdwatch também criarão uma pontuação de reputação que será inserida no algoritmo de utilidade.

“Nosso objetivo com o piloto do Birdwatch é construir um sistema no qual todos possam contribuir e que, naturalmente, eleve as informações que as pessoas consideram úteis”, disse o vice-presidente de produto do Twitter, Keith Coleman, por e-mail. “Acreditamos que a abertura sobre quem pode contribuir é importante e que, por meio da contribuição de um grupo diverso, as notas mais úteis podem ser elevadas.”

Mas, uma olhada no sistema como ele está agora revela desafios que os verificadores de fatos levantaram sobre o Birdwatch: a falta de experiência em verificação de fatos entre os usuários, a dificuldade de criar um algoritmo que de alguma forma mostre as notas úteis dos usuários mais respeitáveis ​​e perguntas sobre motivações partidárias dos usuários.

“Não estou surpreso com essas descobertas, dada a natureza polarizada das plataformas de mídia social e a hesitação dos usuários convencionais em fornecer feedback a essas consultas oferecidas pelas plataformas, enquanto os usuários motivados de ambos os lados do corredor veem as plataformas como campos de batalha para promover suas narrativas ao longo outros ”, disse Baybars Örsek, diretor da International Fact-Checking Network.

A maioria das notas mais prolíficas dos usuários do Birdwatch marcam os tuítes críticos da direita como 'enganosos' e os críticos da esquerda como 'não enganosos'. (Por exemplo, o usuário marcou um tweet que diz “ A equipe Biden é favorável à China ”Do senador Ted Cruz e o Pool tweetaram como“ não enganosos ”; enquanto um artigo da Newsweek sobre extremistas de extrema direita e a saga GameStop e um tweet amarrar o presidente Donald Trump ao motim do Capitólio foram marcados como 'enganosos' e 'prejudiciais'.) E menos de um quinto das 82 notas do usuário incluem uma fonte, várias das quais são outros tweets. (Este usuário do Birdwatch não respondeu a uma solicitação de entrevista.)

Coleman disse que a Birdwatch pode ser incentivada a considerar notas que vêm de um 'conjunto diversificado de colaboradores'. Além disso, o sistema de classificação é o principal motivador por trás da plataforma

quando são os anúncios de sexta-feira negra no jornal

“Acreditamos que isso recompensará e incentivará as contribuições que muitas pessoas consideram valiosas e abordarão o risco de um grupo ou ideologia específico assumir o controle da Birdwatch”, disse Coleman. “Isso é algo em que estaremos trabalhando ativamente durante todo o piloto.”

E, de fato, as notas que o algoritmo classificou como as mais úteis após as mudanças de 17 de fevereiro mostram fontes mais sólidas e menos retórica partidária do que a iteração de apenas um dia antes. Porém, alterar um algoritmo para um programa piloto com 1.000 usuários e menos de 2.700 notas é uma coisa, alterar um algoritmo quando o Birdwatch estiver disponível para todos os usuários é outra - e quem sabe se a eficácia do algoritmo se manterá à medida que os usuários começarem a derramar na plataforma, talvez replicando o comportamento de alguns dos participantes do piloto mais prolíficos.

“Atualmente não temos um cronograma específico para o dimensionamento, pois estamos trabalhando para aprender o máximo possível e iterar enquanto o piloto é pequeno”, disse Coleman. “Planejamos expandir conforme formos capazes de fazê-lo com segurança e quando isso puder ajudar a melhorar o aprendizado.”

Ainda assim, como acontece com as notas do tweet do Pool, há exemplos de partidário ou informação enganosa ainda visível como notas regulares.

Quatro dos cinco usuários mais ativos, que respondem por mais de 10% das notas gerais, têm atividade semelhante como o usuário mais prolífico. Um deles afirma que a morte de Jeffrey Epstein nunca foi considerada suicídio. No entanto, o segundo Birdwatcher mais prolífico cita uma fonte dentro de cada nota, incluindo links da Organização Mundial da Saúde e FactCheck.org .

Nenhum dos dez principais usuários, de acordo com sua biografia do Twitter, é profissional verificador de fatos ou jornalista.

“A verificação de fatos é, na verdade, um trabalho árduo, pois exige muito da mente”, disse a editora-chefe do PolitiFact, Angie Holan, por e-mail. “Você realmente precisa se concentrar e superar a inércia mental para identificar as afirmações e, em seguida, pensar em meios de desmascará-las ou verificá-las. Em seguida, você deve prosseguir com a pesquisa e, em seguida, escrever as descobertas. Não é um dia na praia, para ser franco. E se um verificador de fatos tem uma motivação partidária, isso torna um esforço completo e imparcial ainda mais difícil. ”

Apesar de seus problemas, o Birdwatch sinaliza desinformação que os verificadores de fatos tradicionais podem perder ou optar por não verificar devido ao potencial de dano - o que poderia ajudar a preencher algumas lacunas na desinformação digital. Durante o Saga GameStop , a desinformação sobre as ações dessa empresa se espalhou rapidamente pelas plataformas.

Snopes e PolitiFact não avaliou reclamações sobre GameStop, enquanto Histórias principais avaliadas uma postagem do Reddit. Mas no Birdwatch, a nota com maior pontuação - obtendo uma pontuação de utilidade de 1,00 - sinalizou um tweet enganoso sobre o Reddit, onde a conversa sobre o estoque estava ocorrendo. Havia cerca de 50 notas sobre Reddit, GameStop e o aplicativo de investimento Robinhood, nas quais um alto volume de negociação aconteceu no início deste mês.

E os usuários do Birdwatch sinalizaram corretamente uma conta que afirma pertencer à senadora da Virginia, Amanda Chase, como falsa, depois disso tweetou , “… Temos um problema com drogas na Virgínia e legalizar a maconha só vai levar a mais overdoses e mortes de maconha…”

O crowdsourcing pode facilitar a vida dos verificadores de fatos profissionais ao detectar informações incorretas, disse Örsek.

Coleman disse que o Twitter está comprometido em manter a transparência - o que tornou essa análise possível - e incorporar contribuições de especialistas sobre o futuro da plataforma.

“Trabalhar com um membro da equipe integrado da Centro da Universidade de Chicago para RISC , para hospedar sessões de feedback com repórteres e pesquisadores, estamos trabalhando para aproveitar a vasta experiência e conhecimento que existe além do Twitter ”, disse ele.

Holan e Örsek recomendam incentivos e treinamento para usuários do Birdwatch, além de empregar verificadores de fatos profissionais para examinar notas de alto escalão.

mulheres meio asiáticas meio negras

“Mas duvido muito das empresas de tecnologia que acreditam que seus usuários moderarão conteúdo de graça para eles”, disse Holan. “A maioria dos usuários não considera seu trabalho ajudar as plataformas a administrar seus próprios negócios.”