Relato anedótico versus relato estatístico

Relato-AnedóticoUm dos aspectos mais difíceis de ser compreendido pelo homem comum quanto ao rigor exigido pelo método científico e pela ciência para validar um conhecimento, fenômeno ou alegação, é a questão do relato anedótico, pessoal, a experiência pessoal como elemento de convicção e conclusão.

Quando textos são apresentados na Internet para explicar porque a ciência não reconhece uma pseudociência, uma alegação extraordinária ou um tratamento alternativo, dezenas de comentários contrariados são enviados. Uma grande maioria usa casos pessoais como “prova” de que o texto está enganado, que “aquilo” funciona sim, que tem certeza disto, que o autor está “comprado pelas indústrias de medicamentos”, etc.

“Relato anedótico é um relato, evento ou alegação única, singular, pessoal”

Variações são apresentadas, como “é uma questão de livre escolha”, ou – um exemplo tirado da homeopatia – “funcionou até para meu cachorro, como pode não ser real?”

Essa confusão se dá porque embora a ciência se baseie em experimentos e na coleta de dados empíricos, como relatos de casos, isto não é suficiente. É o conjunto de relatos, estatisticamente analisados, que dá base ao conhecimento científico, não o caso singular.

Para melhor entender a questão, é necessária a definição de termos e alcances. Relato anedótico, que não significa “piada”, é um relato, evento ou alegação única, singular, pessoal. Relato estatístico é o conjunto de eventos múltiplos, estatisticamente relevantes no universo de dados analisado.

CETERIS PARIBUS

Latim é sempre impactante e muito usado para impressionar o leitor com rudimentos de erudição. Mas em geral é irrelevante, é possível explicar a maior parte dos conhecimentos sem apelar para essa língua morta. Mas neste caso, precisamos da expressão latina, que está na base do sistema de rigor para a análise científica: ceteris paribus, ou seja, tudo o mais sendo invariável.

Controlar as variáveis, para entender um fenômeno ou evento com precisão, é o fundamento de uma pesquisa ou estudo. Mesmo quem ignora a expressão latina ainda é capaz de entender e usar o princípio em algum momento de sua vida. Uma cozinheira, por exemplo, pode experimentar um ingrediente por vez, para descobrir o que deu errado na hora de fazer aquele prato especial. Se experimentar todos de uma vez, será impossível descobrir qual deles estragou o almoço. Outras vezes, nós pedimos silêncio, para identificar um som ou chamada em meio a um barulho intenso ou um burburinho incômodo.

“Um relato anedótico não tem controle”

Variáveis demais confundem a análise e dificultam determinar a realidade subjacente. Se você toma um Dramin (remédio contra enjôo) e faz uma simpatia – ambos ao mesmo tempo – antes de entrar em um navio, não poderá saber ou definir o que evitou que passasse mal: o remédio ou a simpatia.

Por isto, cientistas e pesquisadores de novos medicamentos à base de plantas tentam identificar seu “princípio ativo” antes de determinar o funcionamento do extrato vegetal. Para isso, usam o ceteris paribus, ou seja, mantém tudo igual e modificam apenas uma determinada substância por vez, durante os testes.

Um relato anedótico não tem controle, não permite analisar cada variável e pode estar submetido a tantas forças diferentes, que não se pode identificar o que realmente ocorreu.

DROGAS ALOPÁTICAS

Vou dar um exemplo invertido, para depois apresentar o “alvo” deste artigo, alegações que não se submetem ao rigor da pesquisa científica: drogas alopáticas que realmente funcionam, que comprovadamente funcionam.

Como se testa uma droga alopática, para saber se é eficaz? Com complexos testes que variam conforme a droga, o efeito esperado, o tipo de doença, etc, etc, etc. Muitas variáveis e um enorme trabalho de controle são empregados para identificar os efeitos, tanto positivos quanto negativos.

Um modo simplificado de apresentar um estudo seria este: 50 pessoas, que devem ser parecidas em aspectos significativos para a doença, são escaladas para receber a nova droga. Por que parecidas? Controle de variáveis! Não faz sentido pegar um jovem e um senhor de 80 anos, ambos com problemas cardíacos. Um deles pode ser capaz de resistir aos efeitos colaterais do medicamento e o outro, não. Neste caso, não saberíamos se a droga é ou não é eficaz.

“…ele pode interferir inconscientemente no tratamento…”

Mas como toda doença tem uma taxa de regressão natural, ou seja, algumas pessoas se curam (ou seus organismos se curam) sozinhas, é preciso ir além. Precisamos descobrir quantos melhorariam sem nenhum tratamento.

Assim, outro grupo de 50 pessoas, com o mesmo problema médico e parecidas em aspectos significativos para a doença, são escolhidas como grupo de controle, ou seja, não receberão nenhum tratamento.

Bom, mas ainda temos um problema. Aprendemos com os estudos que o simples fato de alguém saber que está sendo medicado com qualquer coisa (inclusive canja de galinha e beijos da mãe), é suficiente para melhorar a sensação de algumas pessoas, até mesmo suprimir sintomas. Então, para garantir que as pessoas não apresentem melhora apenas por serem cuidadas (efeito placebo), temos de preparar outro grupo de controle: mais 50 pessoas, com a mesma doença e parecidas em aspectos significativos para a doença, que receberão pílulas de açúcar (ou farinha..:-), mas que não saberão disto. Serão informadas que estão recebendo a nova droga em estudo.

Ufa, quase lá..:-) Quase, porque aprendemos outra coisa com os estudos. Se o responsável pela aplicação da droga ou do placebo SABE o que está sendo ministrado, ele pode interferir inconscientemente no tratamento e os pacientes podem responder a essa interferência.

“Um único estudo poderia resultar positivo por acidente, por mera coincidência”

Explicando melhor essa questão, suponha que um pesquisador saiba que determinado paciente está recebendo a nova droga, o “remédio de verdade”. Mas sabe, também, que outro paciente está recebendo o placebo. O pesquisador pode passar essa informação inconscientemente, por atitudes não pensadas, como, por exemplo, visitar com mais frequencia o paciente que recebe a droga. Logo, precisamos de mais um controle de rigor, mais um protocolo, chamado duplo-cego: nem o paciente que recebe o tratamento, nem o pesquisador (médico ou enfermeiro) que aplica o tratamento podem saber se as pílulas contém a nova droga ou apenas … açúcar.

Note o enorme esforço em controlar variáveis e aspectos que poderiam prejudicar a análise de eficácia do que está sendo testado. E mais, mesmo que um estudo dê resultado positivo, deverá ser refeito diversas vezes, com diferentes grupos, e ainda ser submetido a críticas de protocolos, feitas por outros especialistas. Isso porque um único estudo poderia, ainda que improvável, resultar positivo por acidente, por mera coincidência.

Ao leitor que aguentou ler até agora, uma piadinha de ciência, para descontrair (obrigado, Brudna..:-):

“Você soube que um biólogo teve gêmeos?

Ele batizou um e manteve o outro para controle.”

Ok, um tanto infame, mas achei engraçadinha e boa para descontrair a leitura.

RESULTADOS E CONCLUSÕES

Agora que temos um sistema para verificar se uma nova droga é eficaz no tratamento de uma condição específica, o que podemos concluir dos resultados?

Vejamos. O grupo que não recebeu nenhum tratamento, continua com 35 pessoas doentes. Ou seja, 15 pessoas se curaram por motivos diversos (que podemos ou não saber no momento). Do grupo que recebeu, sem saber, placebo, 32 continuam doentes. Ou seja, 18 melhoraram ou se curaram. Já no grupo que recebeu a nova droga, apenas 2 continuam doentes, ou seja, 48 melhoraram ou se curaram.

Vamos supor que todos os demais requisitos de controle e rigor, em especial a replicação em estudos por outros especialistas, deram resultados idênticos ou parecidos com este. O que podemos concluir?

Podemos concluir que há uma boa dose de confiança de que a nova droga tem efeito real sobre uma condição específica, para pacientes com determinado perfil e características.

” … algo mais, uma variável não conhecida, deve ser responsável …”

Agora seria o momento em que um texto de divulgação diria, “pois é isso que falta em alegações pseudocientíficas, é o que falta à urinoterapia, à homeopatia, aos florais de Bach, etc”. E estaria correto, claro, mas não é o que quero ressaltar neste exemplo. Quero algo mais, que parece ser esquecido, e que exemplifica bem o problema com os relatos pessoais.

Mesmo no grupo que recebeu a nova droga, 2 pacientes não se curaram. Seria lógico, legítimo, correto, determinar que a nova droga não é eficaz, não funciona, porque 2 pacientes não se curaram?

Penso que nem mesmo os que defendem terapias alternativas concordariam que 2 em 50, especialmente depois de muitos testes e estudos, sejam significativos para determinar que a droga não funciona. Concordariam que algum motivo a ser estudado ou alguma variável não estabelecida ou desconhecida foi responsável por esses dois pacientes não obterem sucesso com o tratamento.

Uma vez estabelecido isso, que deve ser claro a esta altura, vamos tomar o caso contrário, embora idêntico em sua natureza: os que se curaram no grupo de pacientes que não receberam a nova droga. Podemos determinar que foi a nova droga, que estes pacientes não receberam, responsável pela cura ou melhora?

Não, mais uma vez. Concordamos que algo mais, uma variável não conhecida, deve ser responsável, em especial a taxa de regressão natural, existente na maioria das doenças.

RELATO ANEDÓTICO

Estamos quase lá, depois de toda esta volta. Um relato anedótico, um caso pessoal, equivale tanto ao paciente que não se curou – ainda que recebesse uma droga eficaz para sua condição – quanto ao paciente que se curou – sem receber a nova droga.

Ou seja, no relato anedótico, não temos como saber em que situação esta cura ou melhora ocorreu, por não termos controlado as variáveis, o ”que” ou “quem” foi responsável por ela.

“Pesquisadores e cientistas descobriram que sua hipótese preferida não funcionava”

Não foi fácil nem indolor para a comunidade científica entender esse aspecto do relato pessoal. Levou muito tempo e desapontou muita gente. Muitos pesquisadores e cientistas, ao serem confrontados com os protocolos de rigor, descobriram que sua hipótese preferida não funcionava, não era real.

Historinha para relaxar..:-) Não sei se é caso verídico, mas ouvi como se fosse, então lá vai: um homem levou seu carro para a oficina. Reclamava de um defeito intermitente que o estava deixando louco. Toda vez que ia à padaria para comprar lanche, deixava o carro ligado, enquanto corria até o balcão. De repente, o carro parava de funcionar e só ligava depois de vários minutos. Mas isso não ocorria sempre. O que o deixava realmente confuso era o fato de que o carro só pifava nas vezes em ele comprava sorvete de cajamanga (o nome da fruta aqui é importante).

Como um carro poderia saber que seu dono comprava sorvete de cajamanga?

Resumindo a história, depois de muito esforço e investigação, o mecânico finalmente descobriu que havia um problema com a dissipação de calor do veículo, o condensador desligava ao atingir determinada temperatura e só voltava a ligar quando esfriava um pouco.

“Apenas não posso concluir que são causa e efeito, só isso”

E o sorvete de cajamanga? Quando pedia sorvete de cajamanga – um sabor pouco procurado – a guloseima precisava ser buscada no depósito, nos fundos da padaria. Como o dono do carro o deixava ligado e o tempo de espera aumentava acima da média dos outros dias, a temperatura chegava ao ponto crítico de parar o funcionamento do motor.

O mecânico precisou aplicar o ceteris paribus para descobrir o problema..:-)

Mas cientistas estão preparados (ou deveriam estar) para lidar com a refutação completa ou parcial de suas hipóteses. É parte do método científico e eles entendem que isto gera segurança e confiabilidade extremas (ainda que não perfeitas) no conhecimento produzido desta forma.

Meu filho tomou remédios homeopáticos e se curou não tem significado real, material, para uma conclusão segura. Da mesma forma como meu filho tomou remédio homeopático e NÃO se curou. Não posso concluir pela realidade ou não de remédios, homeopáticos ou não, a partir de relatos que podem ser, e muitas vezes são, verdadeiros. Apenas não posso concluir que são causa e efeito, só isso.

CÃES E GATOS

Uma alegação recorrente é a de que o efeito placebo “não funciona” em animais, pois eles não têm psicologia para tanto, e que se algo como a homeopatia funcionou em um cão, logo, deve ser real.

Há dois problemas aqui. Primeiro, animais, em especial cães, têm, sim, uma psicologia própria e, após alguns milhares de anos evoluindo ao nosso lado, fortemente ligada a nossa. Cães podem adoecer, psicologicamente, com seu dono; alegrar-se quando ele se alegra, ficar triste quando ele se entristece, etc.

Vou contar um caso real que ilustra bem a ligação de animais domésticos e seres humanos. Não é com um cão, mas com um cavalo, o famoso Cavalo Respondia Perguntas.

 ”Oskar fez algo simples, algo que deveria estar no protocolo de rigor do teste”

Kluge Hans ou Clever Hans (o Inteligente Hans) era um cavalo que podia responder a perguntas e cálculos complexos, batendo com a pata no chão, de forma impressionante. Perguntas eram feitas e o cavalo sempre respondia corretamente, para qualquer pessoa. Pesquisadores estudaram o cavalo de muitas formas, e muitos concluíram que ele realmente era um prodígio, possuía uma inteligência quase humana, conseguia entender conceitos matemáticos difíceis, bem como responder perguntas, conscientemente.

Até que um investigador chamado Oskar Pfungst resolveu analisar Clever Hans com mais ceticismo e rigor. Ele começou percebendo que, se nenhum dos presentes sabia a resposta, Hans também não sabia. Mas muitos cientistas observaram as exibições e não haviam percebido nenhum truque, sinal ou sinalização dos participantes.

Então Oskar fez algo simples, algo que deveria estar no “protocolo de rigor” do teste, mas que não havia sido feito antes: ele impediu Clever Hans de ver a platéia ou o treinador. Imediatamente, Hans parou de responder e de “saber” a resposta. Ao retirar o impedimento da visão,  o cavalo “voltou a saber” matemática.

“O cavalo respondia a sutis manifestações inconscientes do treinador e da platéia”

O que Oskar descobriu é que o cavalo respondia a sutis, muito sutis, manifestações inconscientes do treinador e até da platéia. Ligeiros enrijecimentos musculares, quando ele começava a bater os cascos; relaxamento, quando atingia a resposta correta, entre outros sinais, induziam o cavalo a agir, para agradar o dono (ou em resposta tipo pavloviana, ainda se discute isso).

Este estudo e esta descoberta levaram pesquisadores a desvendar, mais tarde, a comunicação não-verbal entre seres humanos e outros animais.

Oskar descobriu também que não havia mesmo truque ou má fé no fenômeno. Tanto o dono de Hans quanto a platéia realmente pensavam que o animal podia responder as perguntas e seu dono ficou bastante espantado ao saber que o cavalo “lia” suas emoções a partir de pistas mínimas e não intencionais.

LIVRE ESCOLHA

Cada explicação acima, cada caso, e mesmo a piada do biólogo e seus gêmeos, originam-se em coisas que sabemos sobre a mente humana, sobre as formas de investigar este universo, sobre as falhas de percepção e análise de nossa mente. Explicam também a necessidade do rigor do método científico, bem como seu constante aprimoramento.

Pode parecer que estou defendendo que a experiência pessoal é totalmente inútil, mas isso não é verdade. A experiência pessoal, de cada um de nós, é importante ferramenta e bastante válida em muitas situações diárias, e o aprendizado pessoal é extremamente útil em nosso dia-a-dia. Médicos podem, sim, aprender com a experiência de consultório, e em todas as áreas de atividade humana as experiências por que passamos são úteis e importantes. Um padeiro de longa data deve ter uma grande quantidade de conhecimento acumulado, que o tornam melhor padeiro, um mecânico experiente idem, etc.

O que tento explicar é que para se tornar um conhecimento “científico”, isso não basta. Experiência pessoal pode ser válida ou inválida, mas para a ciência, é preciso um passo a mais, para dar confiabilidade real e segurança a este conhecimento. É preciso ser confirmado pelo método científico e seu rigor.

Muitos conhecimentos científicos, inclusive, iniciaram-se a partir de experiências pessoais, de “insights” derivados dessas experiências. Mas deram um passo adiante, submetendo-se ao método e à análise estatística, ganhando confiabilidade suficiente para se tornarem “científicos”.

“…tem quem jure ser o melhor tratamento para qualquer coisa”

Um engenheiro, por exemplo, pode, a partir de suas experiências pessoais, de anos de atividade, desenvolver um novo método de construção, de alicerces para edifícios. Mas, para que este novo método possa ser recomendado para outros construtores, deve antes passar pelo rigor do método, pela validação independente, pela análise rigorosa de outros especialistas. Isso é fácil de entender, nenhum de nós, leitores inclusive, se arriscaria a morar em um edifício construído com novas técnicas de fundação ainda não validadas, não é?

O mesmo para tratamentos médicos, novos medicamentos, etc. Se um médico tem como experiência pessoal, de consultório, baseado em relatos e pacientes, que um tratamento funciona, deve, antes de afirmar que é real e válido, criar um estudo dentro do rigor, com protocolos específicos, que demonstrem isso. E não vale dizer que “só funciona quando ninguém está olhando, fora do laboratório e sem controle de rigor”, como fazem os defensores da homeopatia.

Uma pessoa pode escolher o que quiser, até um tratamento que não tem eficácia comprovada, sem problema (problema ético, claro que será um problema para sua saúde). Mas o conhecimento científico, as normas médicas, a saúde pública, as organizações e administrações do Estado não podem. É obrigação delas escolher e oferecer o melhor e mais confiável tratamento disponível a cada momento.

Para isso, é necessário usar conhecimento confiável, seguro, que só pode ser criado a partir do rigor do método. Não se pode usar testemunhos pessoais, de quem quer que seja (mesmo de médicos e suas experiências em consultórios) como base de conclusão. Existem muitas pessoas que jurariam (de boa fé e honestamente) ter melhorado com a homeopatia, mas existem muitas pessoas que jurariam (de boa fé e honestamente) que se curaram por beber a própria urina, por beber babosa, por cheirar florais, por não comer por semanas, por receber energia de ETs, por … bem, pense em algo, por mais estranho que seja … tem quem jure ser o melhor tratamento para qualquer coisa.

“… os dados necessários para decidir, para entender e sustentar sua escolha”

Precisamos, em termos de saúde pública, escolher com cuidado extremo, e dentro do rigor científico.

Mesmo para uma pessoa, em sua esfera particular, que deseja ter “livre escolha”, é importante entender que uma escolha só pode ser realmente “livre” quando quem escolhe tem acesso a toda informação disponível, todos os dados, reais e confirmados, sobre o assunto.

E isso, possuir informação confiável disponível, só surge a partir do rigor de verificação encontrado no método científico.

Para escolher entre um tratamento alopático e outro homeopático, de forma livre, é preciso primeiro conhecer a ambos, seus sistemas de produção, sua forma de validação, seus recursos e suas origens.

É saber, por exemplo, que quando a homeopatia foi criada, nada se sabia sobre micro-organismos. Seu criador pensava que toda doença era causada por “miasmas maléficos”, energias místicas do mal. É entender que, quando alguém critica a homeopatia e apresenta informações confiáveis, não é por ter a “mente fechada” ou por estar “perseguindo” a homeopatia, a mando dos “malvados alopatas”.

Trata-se de oferecer àqueles que desejam uma “livre escolha”, os dados necessários para decidir, para entender e sustentar sua escolha.

*************************

(*) Homero Ottoni é Membro Emérito da LiHS e Colaborador Especial do Bule

Links externos relacionados:

Protocolos de Pesquisa Científica

http://www.scielo.br/pdf/abc/v71n6/a01v71n6.pdf

http://www.pucrs.br/farmacia/com_cient_dicas_para_elaboracao_do_projeto.pdf

Evidência Anedótica / Relato Anedótico

http://pt.wikipedia.org/wiki/Evid%C3%AAncia_aned%C3%B3tica

http://usuarios.cultura.com.br/jmrezende/aned%F3tico.htm

Klever Hans

http://en.wikipedia.org/wiki/Clever_Hans

Efeito Placebo

http://www.skepdic.com/brazil/placebo.html

Homeopatia

http://brazil.skepdic.com/homeopatia.html

http://www.projetoockham.org/pseudo_homeo_1.html

Anúncios

Um comentário sobre “Relato anedótico versus relato estatístico

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s