Como o Duke Reporters’ Lab usou as convenções políticas para aperfeiçoar seu programa automatizado de verificação de fatos

Cortesia do Duke Reporters’ Lab

As convenções políticas das últimas duas semanas proporcionaram as condições perfeitas para a Cooperativa de Tecnologia e Cheques no Laboratório de Repórteres Duke para aperfeiçoar seu programa automatizado de verificação de fatos, Squash, e seu componente humano, Gardener.

Squash é um programa de inteligência artificial que faz correspondências em tempo real entre verificações de fatos existentes em Revisão da reivindicação , o sistema de marcação de checagem de fatos do Reporters’ Lab e as declarações de um palestrante ao vivo. Ele usa uma combinação do Google Fala para texto ; Reivindicação , que foi desenvolvido na Universidade do Texas em Arlington; e a própria codificação de Duke para combinar palavras faladas com aquelas escritas em uma verificação de fatos. Essas verificações de fatos aparecem na tela para dar aos espectadores mais contexto sobre os problemas que estão sendo discutidos.

No entanto, como os codiretores do Reporting Lab, Bill Adair e Mark Stencel, escreveram para Laboratório Nieman em julho , este sistema não é isento de inconvenientes.

“Às vezes, a conversão de voz em texto pode ser muito boa se o microfone for bom e a pessoa estiver falando claramente, mas tivemos alguns comicamente ruins”, disse Adair. Durante a votação nominal na Convenção Nacional Democrata, Squash combinou uma checagem de fatos sobre suor nas axilas aos votos do Kansas.

Christopher Guess, o principal tecnólogo do Reporters’ Lab, disse que a tecnologia atual não permite que um computador entenda as nuances e o contexto da maneira como os políticos costumam falar.

“Um verificador de fatos humano geralmente hesita e discute com os colegas em que ângulo você abordará isso”, disse Guess. “Isso é algo que um computador literalmente não pode fazer.”

Gardener é uma nova interface que a equipe Tech & Check construiu em cima do Squash para resolver essa deficiência. Squash fornece ao assistente humano (o “Jardineiro”) três verificações de fatos correspondentes, que essa pessoa escolhe para serem exibidas aos espectadores.

“Então, na verdade, estamos eliminando os ruins e exibindo os bons”, disse Adair. O programa ainda está em sua infância e, além de aperfeiçoar a correspondência e superar os obstáculos na tecnologia de voz para texto, Adair e Guess dizem que precisam de muito mais verificações de fatos para aperfeiçoar a tecnologia.

“Ele se baseia em um grande corpus de reivindicações previamente verificadas”, disse Guess. No momento, a ClaimReview tem um banco de dados de cerca de 60.000 reivindicações, no entanto, a Guess disse que apenas cerca de um terço delas são relevantes para a política americana. “O mundo do aprendizado de máquina geralmente funciona em milhões e bilhões, não dezenas de milhares”, disse Guess.

Enquanto aguarda por reivindicações adicionais, a equipe está experimentando outras maneiras de melhorar as correspondências de verificação de fatos. Um deles é um programa chamado Caucus, que agrupa verificações de fatos em categorias que podem ser combinadas com declarações captadas por voz para texto.

“Digamos que esta frase é sobre saúde, é sobre política, é sobre Idaho”, disse Guess. “Tenho uma teoria de que afirmações que se enquadram nas mesmas categorias são mais propensas a serem relacionadas do que afirmações que não são.”

Adair não colocaria uma linha do tempo sobre quando essa tecnologia estaria disponível ao público. “Nosso objetivo é apenas continuar melhorando até que esteja pronto”, disse ele. “Fizemos muito progresso em três anos e você pode fazer muito com todas as pessoas inteligentes que vê aqui.”

Harrison Mantas é repórter da Rede Internacional de Verificação de Fatos cobrindo verificação de fatos e desinformação. Alcance-o em o email ou no Twitter em @HarrisonMantas