Nas conversas ou discussões em redes sociais é comum que alguém apresente um estudo como evidência de sua afirmação ou argumento. Isso é bom, sempre é bom, e é importante que as pessoas estejam entendendo a necessidade disso, que não basta alegar, ou usar um argumento de autoridade (fulano, importante, disse isso).
Mas agora que as pessoas estão começando a entender a necessidade de evidências, a partir de termos como “medicina baseada em evidências”, e mesmo em seriados de TV do tipo CSI (Crime Scene Investigation), podemos tentar melhorar essa compreensão e passar para “qual tipo de evidência é aceitável” e como se “pesa” uma evidência em relação a outra.
Não é um passo fácil. Problemas e questões complexas não tem soluções ou respostas simples. Por isso a conversa nas redes é tão limitada, e causa tanta confusão, não é possível explicar algo como corpo de evidências em algumas palavras ou frases. E entender a explicação mais complexa, e correta, exige um certo nível de conhecimento de base, anterior, nem sempre disponível ao interlocutor.
Talvez exemplos mais concretos, menos abstratos ou elaborados, ajudem a entender porque estudos apresentados como “refutação” a posições bem estabelecidas são recusados como evidência, embora parecem corretos e dentro dos protocolos exigidos.
Começando pelos seriados de CSI, é comum uma discussão entre os investigadores que lamenta não terem o suficiente para prender ou condenar o suspeito. Eles tem evidências, uma ou até algumas, mas não são suficientes. São “circunstanciais”.
E por que uma pessoa não pode ser presa tendo apenas uma evidência contra ela? Porque isso não forma um corpo de evidências. E sem isso a confiabilidade da conclusão, ele é culpado, é pequena ou inexistente.
Há vários motivos para a evidência não ser aceita, falha na produção, erro de avaliação e estatística e probabilidade, a famigerada coincidência. Coincidências acontecem, e uma evidência pode ter sido gerada por uma. Para condenar uma pessoa é preciso um conjunto de evidência, uma validando a outra ou sendo decorrência desta. Ao final, temos um corpo de evidências sólido, suficiente para diminuir a chance de uma condenação injusta.
Conclusões científicas seguem esse padrão. Na verdade esse padrão foi criado pela ciência, pelo método científico, e depois aplicada a investigação criminal. São os “métodos científicos” dos CSI, a “Polícia Científica”. Mesmo não sendo perfeito (nada humano é), a aplicação de métodos científicos tornou muito mais justa e confiável uma condenação penal ou decisão judicial.
Quanto mais evidências sobre uma alegação (ou crime), mais seguras são as conclusões. Isso se aplica a pesquisas científicas e por isso um único estudo nunca é base para conclusões confiáveis. A coincidência e probabilidades pode afetar os resultados. Mas como?
Vamos a curva normal e para isso vamos jogar cara ou coroa.
Todo mundo sabe que a probabilidade, ou usando um termo mais comum, chance de sair cara ou coroa é de 50%, metade. Jogue a moeda 10 vezes e deve sair 5 caras e 5 coroas. Não, claro, em média deve sair, mas pode ser 6 e 4, 3 e 7, 9 e 1 etc. Mas quando mais jogar, mais se aproxima dos 50%.
Vamos pedir a 1000 pessoas que joguem 10 vezes a moeda e anotem os resultados. Depois somamos tudo e devemos ter mais ou menos 5000 caras e 5000 coroas. Mais ou menos, pode ser 5145 caras e 4855 coroas, algo assim.
Mas vamos também anotar quantos jogadores tiraram 5 caras e 5 coroas, 4 caras e 6 coroas, 7 caras e 3 coroas e assim por diante. E vamos plotar um gráfico para esses valores, para ter algo parecido com essa imagem.
A maior parte dos jogadores está na parte mais alta da curva, 5×5, 4×6, 6×4. Uma parte significativa está em 7×3, 3×7, 8×2, 2×8. Alguns em 9×1 e 1×9.
Mas teremos tb, poucos, com 10×0 e 0x10.
Então se jogar 10 vezes uma moeda e der 10 caras, não provou que a probabilidade, 50%, está errada, nem que vc é “muito sortudo”, apenas que está, por coincidência, nas pontas da curva normal de probabilidade de jogar moedas.
A curva normal é uma constante e é usada para os mais diversos fins, como eliminar resultados “by chance” de estudos. Para isso é preciso ter muitos estudos, analisar os resultados médios, e excluir os nas pontas, os acidentais, que podem ser erros de metodologia ou por causas não definidas.
Se 100 estudos feitos para determinar o efeito de um medicamento dentro de um protocolo de rigor resultam em eficácia de 80%, mas dois não mostram eficácia, é mais seguro adotar o resultado dos 100 para compor o corpo de evidências que vai embasar a conclusão. Da mesma forma se 100 estudos não indicam eficácia do medicamento além do placebo ou de variações mínimas, e dois indicam, adotar os dois para refutar os 100 não é razoável ou lógico. E é bem mais arriscado.
Tivemos muitos exemplos durante a pandemia, com estudos feitos as pressas, ou com interesses pessoais envolvidos, mas isso vem desde que o método científico começou a ser aplicado e aprimorado. Muitas vezes de boa fé, o pesquisador se apaixona por sua hipótese, prejudica o rigor para procurar o resultado desejado, e fica frustrado quando seu estudo não é aceito ou refutado. Para ele, deu certo. Outras interesses não claros motivam estudos “direcionados”, como o famoso caso dos estudos que “provavam que não há relação entre o cigarro e o câncer de pulmão” nos anos 50/60.
Estudos posteriores mostraram que havia relação e que estes eram estudos pagos pela indústria do tabaco, fraudados.
Usando um exemplo de estudos para novas drogas contra câncer. Estes estudos levam anos, décadas, custam fortunas (A 2017 analysis showed the estimated cost to bring a single cancer drug to market was $648.0 million ) e a maioria não passa nos testes e é abandonada.
Em média pacientes de câncer sem tratamento tem 5% de chance de se curarem, regressão natural da doença. Uma nova droga deve, além de ser segura e não causar mais dano que a doença, aumentar essa taxa de cura significativamente. Em média hoje para muitos tipos de câncer detectados precocemente o índice de cura é de 80/95%.
Se um estudo indica que tem eficácia de 85%, então a nova droga é eficaz e deve ser aprovada, correto? Não exatamente. Mesmo com um índice baixo de regressão, 5%, ainda é possível que, acidentalmente, o grupo de pacientes do estudo tenham sido escolhidos todos entre os que naturalmente se curariam, por exemplo, um estudo com 10 pacientes pode ter pego os 10 de 200 que se curariam sem tratamento algum. Como as moedas do experimento anterior, que deram 10 caras ou 10 coroas para alguns participantes.
Para a ciência um estudo único é como um relato anedótico de uma alegação: pode servir para estimular e justificar novos estudos mas sozinho não é suficiente para sustentar uma conclusão.
Além de replicar também é possível aumentar o tamanho do estudo. Quanto mais pacientes envolvidos, mas confiável é o resultado e as conclusões. Como no caso do jogo de cara e coroa, maior o número, mais perto da porcentagem real dos resultados, 50% cara, 50% coroa.
Todos os protocolos de pesquisas de novas drogas, vacinas e tratamentos, seguem esse padrão, precisam ser replicadas, e passar por per review, avaliação por pares, para evitar os vieses e os resultados “by chance”.
Nas redes os debates sempre trazem a discussão os estudos fora da curva, os acidentes, os que contradizem a maioria dos estudos dentro do padrão. E é difícil explicar, sem um longo texto ou artigo, a questão do corpo de evidência e do porque recusamos esses estudos que podem ser apenas a ponta da curva, os que, mesmo que ainda não saibamos o motivos, derem um resultado muito diferente da maioria dos outros estudos.
Claro que é possível, embora raro, que este estudo único, ou os poucos com um resultado “fora da curva” estejam corretos. Mas antes de aceitar isso é preciso demonstrar isso de uma forma também segura, também controlada pelo rigor e com mais evidências, não basta apenas apontar para o estudo e dizer, viu, eu disse.
Os estudos conflitantes que apareceram durante a pandemia tem sido refutados, falhas tem sido apontadas, erros, e mesmo desonestidade, com estudos “pagos” para apontar o que quem paga queria. E é exatamente por isso que existem os protocolos de rigor, os controles sempre aprimorados, sabemos que cientistas também são seres humanos e como tal falhos.
Se um estudo tem um resultado positivo, mas ainda é só ele, é preciso entender que é mais racional, lógico e seguro esperar mais estudos. Se este inicial for real, os outros vão conseguir repetir os resultados. Se não conseguirem, então por mais confortante, por mais que este estudo inicial seja agradável e se ajuste a seu viés e visão, deve ser desconsiderado. Por segurança.
Fica mais fácil de entender se além da questão da eficácia pensarmos na questão da segurança. Um estudo parece indicar que determinada droga ou tratamento é seguro e não tem efeitos colaterais. Mas dezenas de outros, publicados, revistos, replicados, indicam grave risco a saúde, possivelmente fatais. Quem defenderia aplicar a droga ou tratamento nos pacientes apenas com base em um único estudo que indicou segurança, contra dezenas ou centenas que indicou risco grave?
Você vai fazer uma viagem longa de carro com sua família. Leva o carro ao mecânico e este indica falha grave nos freios e n]ao recomenda a viagem. Leva a 9 mecânicos e todos dizem o mesmo. Um décimo mecânico não encontra nenhum problema e diz que pode pegar estrada. Quem iria?
Outra alegação atual é sobre as “milhões de mortes causadas pelas vacinas. Alguém apresenta um estudo que “mostra que as pessoas estão morrendo sem motivo, e deve ser a vacina”. É basicamente inútil apresentar centenas de estudos, das mais diversas vacinas, que não mostram nenhuma mudança estatística significativa das mortes que poderia ser ligada as vacinas, a pessoa “tem um estudo científico” debaixo do braço, que confirma o que ele deseja que seja verdade, que ele “sabe” que é verdade, e nada vai abalar essa crença.
Evidentemente a produção do corpo de evidências é mais complexa que isso, com mais fatores, mais controles, mais tipos e formatos de evidências, que variam confirme a área e a gravidade do que se estuda. Mas este texto é para leigos, para tentar apresentar exemplos mais simples para uma questão complexa, que tipo de evidências devem ser aceitas e quais devem ser recusadas ou colocadas em espera até mais dados?
E como o conceito de corpo de evidências ajuda tanto a polícia a determinar a autoria de crimes, quando a ciência a determinar a confiabilidade de alegações e de teorias científicas.
Homero Ottoni
Homero Ottoni 