O PolitiFact é tendencioso? Esta análise de conteúdo diz não

Verificando Os Fatos

É uma crítica que PolitiFact há muito tempo está acostumado a ouvir.

“PolitiFact está se envolvendo em uma grande dose de viés de seleção,” The Weekly Standard escreveu em 2011 . “& Apos; Verificadores de fatos & apos; Visam esmagadoramente os pundits e pundits da direita ”, lê-se uma manchete de abril de 2017 do NewsBusters, um site cujo objetivo é expor e combater o 'preconceito da mídia liberal'. Existe até um blog inteiro dedicado a mostrar as formas pelas quais PolitiFact é tendencioso.

O projeto de verificação de fatos, de propriedade de Poynter, rejeitou essas acusações, apontando para o seu metodologia e financiamento (bem como sua filiação na International Fact-Checking Network) como prova de que não tem uma persuasão política. E agora, o PolitiFact tem um estudo acadêmico para apoiá-lo.



seu fio de notícias notícias falsas

O relatório, publicado por pesquisadores na Universidade de Washington e na Carnegie Mellon University em março, analisa a linguagem que o PolitiFact publicou sobre democratas e republicanos para ver como a organização enquadrou palestrantes de ambos os partidos. Também inclui uma análise externa que compara como o PolitiFact enquadra os problemas e como a mídia em geral o faz.

O relatório, que o PolitiFact enviou pela primeira vez ao Poynter, usou análise de texto automatizada em aproximadamente 10.000 artigos que datam de 2007, a maior parte deles entre 2010 e 2017. Dividido por partido, há cerca de 1,4 vezes mais artigos sobre republicanos do que democratas. O ex-presidente Barack Obama foi o orador mais coberto da amostra, com cerca de 600 artigos.

Levando em consideração a escala de seis pontos do PolitiFact, que varia de 'Verdadeiro' a 'Pants on Fire!', Há uma distribuição bastante uniforme das avaliações. Dividido por partido, o projeto de verificação de fatos normalmente atribui classificações mais verdadeiras aos democratas e mais classificações falsas aos republicanos, quando ajustado pela diferença no número de artigos publicados sobre cada grupo.

Captura de tela

(Captura de tela)

Para políticos específicos, a classificação mais comumente usada para Obama é 'principalmente verdadeira', enquanto a de Donald Trump é 'falsa', de acordo com o relatório. No entanto, quando dividido pelas tags de assunto principais em cada artigo, a cobertura do PolitiFact parece ser relativamente equilibrada.

Captura de tela

(Captura de tela)

Os três principais tópicos mais cobertos do PolitiFact são economia, saúde e impostos - todos divididos igualmente entre palestrantes republicanos e democratas. E as discrepâncias, como imigração e armas, podem ter mais a ver com o quanto cada parte fala sobre essas questões do que como o PolitiFact as enquadra, de acordo com o relatório.

“A divisão dentro dos assuntos é semelhante à divisão geral entre as partes”, diz. “Como tal, não esperamos que quaisquer diferenças de linguagem que encontrarmos entre as duas partes sejam fortemente baseadas no conteúdo dos artigos.”

Então, os pesquisadores dividiram cada artigo ainda mais por meio das palavras que tinham mais probabilidade de prever corretamente que uma história era sobre um republicano ou democrata. Para isso, eles usaram técnicas estatísticas e modelos de processamento de linguagem natural, removendo quaisquer citações ou outro texto que o autor não escreveu.

Dadas as análises anteriores do relatório, o que eles descobriram não foi surpreendente - artigos sobre republicanos foram associados a palavras como 'republicano' e 'falso', enquanto artigos sobre democratas foram associados a 'democrata' e 'verdadeiro'.

a que horas os votos serão contados

Captura de tela

(Captura de tela)

Quando os pesquisadores removeram quaisquer palavras obviamente associadas a qualquer um dos partidos, eles descobriram que histórias com falantes democratas eram comumente previstas por palavras como 'ajudou' e 'pense', enquanto histórias sobre republicanos foram previstas por 'Fox' e 'de acordo'.

Captura de tela

(Captura de tela)

Então, o que isso diz sobre o alegado preconceito do PolitiFact? Não muito, segundo os pesquisadores.

“Esta parte de nossa análise não encontra diferenças óbvias na linguagem que é usada para descrever os indivíduos de cada partido de uma forma que mostre qualquer indicação de preconceito ou tratamento diferenciado”, escreveram eles.

Em sua análise externa, os pesquisadores não chegaram a conclusões diferentes. Eles executaram uma classificação de sentimento com base em listas predefinidas de termos positivos e negativos e descobriram que o PolitiFact usa palavras mais negativas e positivas para os republicanos, artigos sobre os quais tendiam a ser mais longos, em média.

Captura de tela

(Captura de tela)

“A partir dessa análise simples, concluímos que, se houver uma diferença no sentimento transmitido entre a análise PolitiFact de democratas e republicanos, ela é expressa sutilmente e / ou de maneiras específicas por domínio”, diz o relatório.

Existem algumas limitações. Por causa do desequilíbrio de artigos sobre republicanos e democratas, a classificação do texto só podia prever com 58% de precisão um partido a partir de um conjunto de palavras. Os pesquisadores também não realizaram uma análise de sentimento mais aprofundada sobre o conteúdo do PolitiFact, em parte devido ao alto custo e em parte devido ao potencial dos anotadores humanos de responder subjetivamente às avaliações de checagem de fatos.

Mas o PolitiFact se sente bem com o que o relatório diz.

“Certamente reforça como tentamos agir e nos comportar. Portanto, é claro que estamos satisfeitos por não vermos sinais de alerta ”, disse o diretor executivo Aaron Sharockman em uma mensagem. “Mas, como um verificador de fatos que examinou várias pesquisas, também não devemos dar a este estudo mais peso do que vale a pena. Esta é uma olhada na linguagem e nas palavras que usamos para escrever nossas checagens de fatos. ”

“Não podemos parar de pensar em maneiras de melhorar nossa credibilidade para todos os públicos.”

O relatório faz parte de um subsídio de $ 50.000 que a Fundação Knight concedeu ao PolitiFact em junho passado para melhorar a confiança na verificação de fatos e alcançar públicos céticos. No outono passado, membros da organização de verificação de fatos viajaram para três estados dominados por eleitores conservadores e realizaram fóruns, reuniões individuais e eventos comunitários para chegar e responder a perguntas. O PolitiFact também contratou dois ex-políticos (um de cada partido) para criticar seu trabalho.

Esses esforços foram parcialmente inspirados por uma pesquisa do Rasmussen Reporters de setembro, que descobriu que 88% dos apoiadores de Trump não confiam na verificação de fatos da mídia. E a análise de linguagem do PolitiFact parece uma boa rejeição a essas descobertas.

como se tornar um correspondente estrangeiro

“Nossas análises não foram capazes de detectar quaisquer diferenças sistemáticas no tratamento de democratas e republicanos nos artigos do PolitiFact”, diz a conclusão do estudo.

Mas em um e-mail de acompanhamento para Poynter, Noah Smith, um dos co-autores do relatório, acrescentou uma advertência às descobertas.

“Isso pode ser porque não há realmente nada para encontrar ou porque nossas ferramentas não são poderosas o suficiente para encontrar o que está lá”, disse ele.