O PolitiFact é tendencioso? Esta análise de conteúdo diz que não

É uma crítica que PolitiFact há muito se acostumou a ouvir.

“O PolitiFact está engajado em um grande viés de seleção”, The Weekly Standard escreveu em 2011 . “Os 'Fact Checkers' visam esmagadoramente políticos e especialistas de direita”, lê-se uma manchete de abril de 2017 do NewsBusters, um site cujo objetivo é expor e combater o “viés da mídia liberal”. Tem até um blog inteiro dedicado a mostrar as maneiras pelas quais o PolitiFact é tendencioso.

O projeto de verificação de fatos, do qual Poynter é proprietário, rejeitou essas acusações, apontando para sua transparência metodologia e financiamento (assim como sua participação na Rede Internacional de Verificação de Fatos) como prova de que não tem persuasão política. E agora, o PolitiFact tem um estudo acadêmico para respaldá-lo.

O relatório, publicado por pesquisadores na Universidade de Washington e na Universidade Carnegie Mellon em março, analisa a linguagem que o PolitiFact publicou sobre democratas e republicanos para ver como a organização enquadrou palestrantes de ambos os partidos. Ele também inclui uma análise externa que compara como o PolitiFact enquadra os problemas com a forma como a mídia em geral faz.

O relatório, que o PolitiFact enviou pela primeira vez ao Poynter, usou análise de texto automatizada em aproximadamente 10.000 artigos que datam de 2007, com a maior parte deles entre 2010 e 2017. Divididos por partido, há cerca de 1,4 vezes mais artigos sobre republicanos do que democratas. O ex-presidente Barack Obama foi o palestrante mais coberto da amostra, com cerca de 600 artigos.

Contabilizando a escala de seis pontos do PolitiFact, que varia de “Verdadeiro” a “Pants on Fire!”, há uma distribuição bastante uniforme de classificações. Dividido por partido, o projeto de checagem de fatos normalmente atribui mais avaliações verdadeiras aos democratas e mais avaliações falsas aos republicanos, quando ajustado pela diferença no número de artigos publicados sobre cada grupo.

(Captura de tela)

Para políticos específicos, a classificação mais comumente usada para Obama é “principalmente verdadeira”, enquanto a de Donald Trump é “falsa”, de acordo com o relatório. No entanto, quando dividida ainda mais pelas principais tags de assunto em cada artigo, a cobertura do PolitiFact parece ser relativamente equilibrada.

(Captura de tela)

Os três principais tópicos mais abordados do PolitiFact são economia, saúde e impostos – todos divididos igualmente entre falantes republicanos e democratas. E os pontos atípicos, como imigração e armas, podem ter mais a ver com o quanto cada parte fala sobre essas questões do que como o PolitiFact as enquadra, de acordo com o relatório.

“A divisão dentro do assunto é semelhante à divisão geral entre as partes”, lê-se. “Como tal, não esperamos que quaisquer diferenças de linguagem que encontrarmos entre as duas partes sejam fortemente baseadas no conteúdo dos artigos.”

Assim, os pesquisadores dividiram cada artigo com base nas palavras com maior probabilidade de prever corretamente que uma história era sobre um republicano ou democrata. Para isso, eles usaram técnicas estatísticas e modelos de processamento de linguagem natural, removendo quaisquer citações ou outro texto que o escritor não escreveu.

Dadas as análises anteriores do relatório, o que eles descobriram foi bastante surpreendente – artigos sobre republicanos foram associados a palavras como “republicano” e “falso”, enquanto artigos sobre democratas foram associados a “democrata” e “verdadeiro”.

(Captura de tela)

Quando os pesquisadores removeram quaisquer palavras obviamente associadas a qualquer um dos partidos, eles descobriram que histórias com falantes democratas eram comumente previstas por palavras como “ajudou” e “pensar”, enquanto histórias sobre republicanos eram previstas por “Fox” e “concorde”.

(Captura de tela)

Então, o que isso diz sobre o suposto viés do PolitiFact? Não muito, de acordo com os pesquisadores.

“Esta parte de nossa análise não encontra diferenças óbvias na linguagem usada para descrever indivíduos de cada partido de uma maneira que mostre qualquer indicação de preconceito ou tratamento diferenciado”, escreveram eles.

Em sua análise externa, os pesquisadores não chegaram a conclusões diferentes. Eles executaram uma classificação de sentimentos baseada em listas predefinidas de termos positivos e negativos e descobriram que o PolitiFact usa mais palavras negativas e positivas para republicanos, artigos sobre os quais tendem a ser mais longos em média.

(Captura de tela)

“A partir dessa análise simples, concluímos que, se houver uma diferença no sentimento transmitido entre a análise do PolitiFact de democratas versus republicanos, ela é expressa de maneira sutil e ou de maneiras específicas de domínio”, diz o relatório.

Existem algumas limitações. Por causa do desequilíbrio de artigos sobre republicanos e democratas, a classificação do texto só podia prever com 58% de precisão um partido a partir de um conjunto de palavras. Os pesquisadores também não realizaram uma análise de sentimento mais aprofundada sobre o conteúdo do PolitiFact, em parte devido ao alto custo e em parte devido ao potencial de anotadores humanos responderem subjetivamente às classificações de verificação de fatos.

Mas o PolitiFact se sente bem com o que o relatório diz.

“Certamente reforça como tentamos agir e nos comportar. Portanto, é claro que estamos satisfeitos em não ver bandeiras vermelhas”, disse o diretor executivo Aaron Sharockman em uma mensagem. “Mas, como um verificador de fatos que examinou muitas pesquisas, também não devemos dar a este estudo mais peso do que vale. Este é um olhar sobre a linguagem e as palavras que usamos para escrever nossas verificações de fatos.”

“Não podemos parar de pensar em maneiras de melhorar nossa credibilidade para todos os públicos.”

O relatório faz parte uma doação de US$ 50.000 que a Knight Foundation concedeu ao PolitiFact em junho passado para aumentar a confiança na verificação de fatos e alcançar o público cético. No outono passado, membros da organização de checagem de fatos viajaram para três estados dominados por eleitores conservadores e realizaram fóruns, reuniões individuais e eventos comunitários para chegar e responder a perguntas. O PolitiFact também contratou dois ex-políticos (um de cada partido) para criticar seu trabalho.

Esses esforços foram parcialmente inspirados por uma pesquisa da Rasmussen Reporters de setembro, que descobriu que 88% dos apoiadores de Trump não confiam na verificação de fatos da mídia. E a análise de linguagem do PolitiFact parece ser uma boa rejeição a essas descobertas.

“Nossas análises não foram capazes de detectar diferenças sistemáticas no tratamento de democratas e republicanos nos artigos do PolitiFact”, diz a conclusão do estudo.

Mas em um e-mail de acompanhamento ao Poynter, Noah Smith, um dos coautores do relatório, acrescentou uma ressalva às descobertas.

“Isso pode ser porque não há realmente nada para encontrar, ou porque nossas ferramentas não são poderosas o suficiente para encontrar o que está lá”, disse ele.