Relatório do Seminário V no Módulo de MCO2 em 2009.2
“Embora não possa alcançar a verdade e nem probabilidade, o esforço por conhecer e a busca da verdade continuam a ser as razões mais fortes da investigação científica.”
(KARL POPPER)
O exercício de leitura crítica de hoje em MCO2 foi feito sobre um estudo de revisão sistemática.
A divulgação do conhecimento acontece de forma muito rápida. Na área de Ciências da Saúde, nos últimos anos, um número crescente de periódicos publica estudos de revisão sistemática/meta-análise relacionados aos mais variados temas. A qualidade metodológica destes estudos, no entanto, precisa se adequadamente avaliada.
Denomina-se revisão sistemática da literatura a revisão planejada da literatura científica, que usa métodos sistemáticos para identificar, selecionar e avaliar criticamente estudos relevantes sobre uma questão claramente formulada.
O objetivo dessa modalidade de estudo é reduzir possíveis vieses que ocorreriam em uma revisão não-sistemática, tanto os vieses observados na forma de revisão da literatura e na seleção dos artigos quanto aqueles detectados pela avaliação crítica de cada estudo. Meta-análise é o método estatístico utilizado na revisão sistemática para integrar os resultados dos estudos incluídos e aumentar o poder estatístico da pesquisa primária (SOUSA; RIBEIRO, 2009).
A metodologia de revisões sistemáticas da literatura e meta-análises, quando adequadamente conduzida, representa um desenho metodológico consistente. Aplica-se, idealmente, àquelas situações nas quais possuímos uma questão clínica relevante relacionada a intervenções terapêuticas, em geral onde ainda não existe um consenso dos estudos, ou quando não há uma comprovação sistemática ou adequada da eficácia/efetividade de um procedimento. É útil, também, naquelas situações em que encontramos vários estudos sobre determinada intervenção, mas possuímos dúvidas se seus resultados poderiam ter sido mascarados pelos pequenos números de pacientes envolvidos.
Concluindo, uma revisão sistemática, como qualquer outro tipo de estudo, possui vantagens e desvantagens quanto a sua utilização. Poderá ser bem conduzida, ou não. Em certas áreas de interesse, o seu uso, além de lícito, poderá trazer dados novos capazes de auxiliar a tomada de decisões clínicas na prática médica. Se mal conduzida, no entanto, poderá distorcer resultados e levar a conclusões equivocadas.
A seguir, um resumo dos elementos discutidos durante esse último seminário de MCO2 em 2009.2, a partir de um estudo de revisão-sistemática com meta-análise, enfocando principalmente a metodologia do artigo.
1- Introdução- A Introdução foi muito extensa. Há pelo menos um parágrafo que poderia ser completamente omitido.
- Não houve uma questão clínica explicitamente formulada no estudo. A pergunta da revisão sistemática merece ser clara e objetiva.
2- Metodologia
- Nesta revisão não se realizou uma busca completa e abrangente dos estudos. Idealmente, inúmeras fontes devem ser pesquisadas para a obtenção dos estudos. A maioria dos autores de revisões sistemáticas na área de saúde procura por trabalhos na base de dados da MEDLINE. Embora esta seja uma das mais completas e atualizadas bases de dados do mundo, outras bases de dados devem ser revisadas em busca de estudos. Não foram realizadas buscas na EMBASE (européia), na LILACS (latino-americana) nem na SCIELO. A PsycLit/PsycINFO, da American Psychological Association, por exemplo, abrange um grande número de publicações em saúde mental. Desta forma, aumentam-se as chances de obtermos trabalhos publicados em outras línguas ou regiões do mundo.
- Outra fonte importante de dados não pesquisada nesse estudo foi a chamada gray literature ("literatura cinza"), composta por teses, dissertações, relatórios, estudos internos de laboratórios (principalmente os que não foram publicados), anais de congressos e o contato direto com autores dos estudos anteriormente analisados. Esta estratégia objetiva diminuir o "viés de publicação", ou seja, o risco de se obterem apenas os estudos publicados com resultados favoráveis a uma intervenção. Ao ler criticamente um estudo de meta-análise/revisão sistemática, é necessário que se observem esses elementos.
- A qualidade metodológica dos artigos foi avaliada. Contudo, os parâmetros para hierarquizá-los não foram suficientes. Avaliaram-se as perdas durante o seguimento e a análise por intenção de tratar, mas não foram considerados adequadamente a ocultação da alocação nem a avaliação cega dos desfechos. Uma revisão sistemática/meta-análise bem conduzida exige que seja definido como os artigos foram avaliados quanto à qualidade metodológica: que critérios foram adotados pelos autores da revisão para denominar um artigo como bom, regular ou ruim, do ponto de vista metodológico? Estes critérios são válidos, ou amplamente aceitos? Qual peso foi dado para cada artigo, de acordo com o nível de evidência, no cálculo da meta-análise? Como foi realizado esse cálculo?
- Ainda sobre o tópico acima, é preciso ressaltar que é difícil definir qualidade, sobretudo diante de inúmeros instrumentos para avaliação desta. A qualidade dos métodos é a probabilidade do delineamento de um estudo gerar resultados sem vieses, ser suficientemente preciso e permitir a aplicação na pratica clínica.
- Os resultados dos ensaios incluídos foram combinados de forma adequada. Foi estimada a ocorrência de erros aleatórios nos resultados de cada através do cálculo dos intervalos de confiança e realizou-se a estimativa da razão de risco meta-analítico de Mantel-Haenszel. Foram feitos modelos de regressão voltados à metanálise, utilizando-se o modelo de efeitos fixos, que assume a existência de um único efeito de tratamento e qualquer variabilidade entre os efeitos estimados de tratamentos dos estudos é completamente devida à variabilidade amostral interna de cada um dos estudos.
- Foi realizada uma análise de sensibilidade. Os resultados da meta-análise continuaram os mesmos, ao se analisar separadamente os resultados dos estudos excluindo os ensaios quase-experimentais e os que apresentaram grande número d eperdas de seguimento. Esta "exclusão deliberada" de subgrupos é o que se chama de análise de sensibilidade. Como os resultados da meta-análise permaneceram semelhantes após as autoras realizarem uma análise de sensibilidade adequada, então as chances destes resultados serem realmente verdadeiros aumentam.
- Durante o seminário não se questionou o que viria a ser a análise de “intenção-de-tratamento”. Trata-se de uma estratégia para análise de dados que considera o grupo todo como submetido ao tratamento inicialmente pretendido, independente destes terem sido excluídos ao longo do estudo ou recebido tratamentos diferentes. O objetivo é evitar enviesamento ou manipulação de resultados pela desistência ou exclusão de participantes.
3- Resultados
- Após a obtenção dos artigos potencialmente incluídos, foi avaliada, independentemente, a qualidade por dois revisores para evitar viés de seleção. Entretanto, não se menciona a participação da terceira autora que deveria resolver as divergências entre as duas primeiras.
- Trabalhos dos mesmos autores parecem ter sido incluídos na amostra, pois selecionaram-se 18 artigos e 11 ensaios. A inclusão de duplicações de ensaios desvirtuam os resultados da meta-análise, dando margem a vieses de seleção.
- Não se faz menção aos instrumentos utilizados para a avaliação dos pacientes com esquizofrenia em cada ensaio. Sabe-se que são utilizados parâmetros de avaliação pouco uniformes para avaliar recaídas, sintomas e sobrecarga familiar nos estudos sobre esquizofrenia (GONÇALVES-PEREIRA et al., 2006), e este deve ser um fator que dificulta significativamente os trabalhos de meta-análise. Coutinho et al. (2003) ressalta que a qualidade dos estudos existentes desafia os limites toleráveis nas pesquisas sobre esquizofrenia. Esses autores mencionam o trabalho de Adams em 1998, que mostra que 75% dos ensaios sobre esquizofrenia usaram um total de 640 escalas eferentes para avaliar o desfecho, das quais 369 foram usadas somente uma vez.
- Foi trazido à discussão também a distinção entre a revisão sistemática e a revisão narrativa. Este assunto foi apresentado anteriormente neste weblog (ver o seguinte link: http://semiologiamedica.blogspot.com/2009/04/artigo-cientifico-original-x-revisao.html).
- Questionou-se durante o seminário por que não foram incluídos estudos não-experimentais na revisão. No sentido de minimizar o risco de erros sistemáticos (viés), é altamente recomendável que se utilizem na análise dos dados apenas os resultados de ensaios clínicos. Ao se avaliarem estudos desenvolvidos com base em outros desenhos metodológicos (estudos de coortes, estudos tipo caso-controle), embora seja possível a utilização da metodologia de revisão sistemática, os resultados e conclusões desta revisão sofrerão limitações, dado o menor nível de evidência destes estudos. A questão da pesquisa (embora não explícita) é sobre intervenção e o estudo indicado para este problema é a pesquisa experimental.
4- Discussão
- Também se discutiram quais seriam as implicações dos resultados da revisão sistemática analisada para a prática clínica. Frente à necessidade de construir subsídios para a prática da atenção comunitária, a partir dos Centros de Atenção Psicossocial (CAPS), que devem funcionar como sustentação para o processo da Reforma Psiquiátrica no Brasil, o estudo é relevante clínica e socialmente.
Referências usadas na análise crítica do artigoGONÇALVES-PEREIRA, M. X. et al. Intervenções familiares na esquizofrenia: Dos aspectos teóricos à situação em Portugal. Acta Méd Port, 19: 1-8, 2006.
COUTINHO, E. S. F., HUF, G.; BLOCH, K. V. Ensaios clínicos pragmáticos: Uma opção na construção de evidências em saúde. Cad Saúde Pública, 19 (4): 1189-1193, 2003.
SOUSA, M. R.; RIBEIRO, A. L. P. Revisão sistemática e meta-análise de estudos de diagnóstico e prognóstico: um tutorial. Arq. Bras. Cardiol. 92 (3): 241-251, 2009.
Fonte da imagem: http://addictedtor.free.fr
- A qualidade metodológica dos artigos foi avaliada. Contudo, os parâmetros para hierarquizá-los não foram suficientes. Avaliaram-se as perdas durante o seguimento e a análise por intenção de tratar, mas não foram considerados adequadamente a ocultação da alocação nem a avaliação cega dos desfechos. Uma revisão sistemática/meta-análise bem conduzida exige que seja definido como os artigos foram avaliados quanto à qualidade metodológica: que critérios foram adotados pelos autores da revisão para denominar um artigo como bom, regular ou ruim, do ponto de vista metodológico? Estes critérios são válidos, ou amplamente aceitos? Qual peso foi dado para cada artigo, de acordo com o nível de evidência, no cálculo da meta-análise? Como foi realizado esse cálculo?
- Ainda sobre o tópico acima, é preciso ressaltar que é difícil definir qualidade, sobretudo diante de inúmeros instrumentos para avaliação desta. A qualidade dos métodos é a probabilidade do delineamento de um estudo gerar resultados sem vieses, ser suficientemente preciso e permitir a aplicação na pratica clínica.
- Os resultados dos ensaios incluídos foram combinados de forma adequada. Foi estimada a ocorrência de erros aleatórios nos resultados de cada através do cálculo dos intervalos de confiança e realizou-se a estimativa da razão de risco meta-analítico de Mantel-Haenszel. Foram feitos modelos de regressão voltados à metanálise, utilizando-se o modelo de efeitos fixos, que assume a existência de um único efeito de tratamento e qualquer variabilidade entre os efeitos estimados de tratamentos dos estudos é completamente devida à variabilidade amostral interna de cada um dos estudos.
- Foi realizada uma análise de sensibilidade. Os resultados da meta-análise continuaram os mesmos, ao se analisar separadamente os resultados dos estudos excluindo os ensaios quase-experimentais e os que apresentaram grande número d eperdas de seguimento. Esta "exclusão deliberada" de subgrupos é o que se chama de análise de sensibilidade. Como os resultados da meta-análise permaneceram semelhantes após as autoras realizarem uma análise de sensibilidade adequada, então as chances destes resultados serem realmente verdadeiros aumentam.
- Durante o seminário não se questionou o que viria a ser a análise de “intenção-de-tratamento”. Trata-se de uma estratégia para análise de dados que considera o grupo todo como submetido ao tratamento inicialmente pretendido, independente destes terem sido excluídos ao longo do estudo ou recebido tratamentos diferentes. O objetivo é evitar enviesamento ou manipulação de resultados pela desistência ou exclusão de participantes.
3- Resultados
- Após a obtenção dos artigos potencialmente incluídos, foi avaliada, independentemente, a qualidade por dois revisores para evitar viés de seleção. Entretanto, não se menciona a participação da terceira autora que deveria resolver as divergências entre as duas primeiras.
- Trabalhos dos mesmos autores parecem ter sido incluídos na amostra, pois selecionaram-se 18 artigos e 11 ensaios. A inclusão de duplicações de ensaios desvirtuam os resultados da meta-análise, dando margem a vieses de seleção.
- Não se faz menção aos instrumentos utilizados para a avaliação dos pacientes com esquizofrenia em cada ensaio. Sabe-se que são utilizados parâmetros de avaliação pouco uniformes para avaliar recaídas, sintomas e sobrecarga familiar nos estudos sobre esquizofrenia (GONÇALVES-PEREIRA et al., 2006), e este deve ser um fator que dificulta significativamente os trabalhos de meta-análise. Coutinho et al. (2003) ressalta que a qualidade dos estudos existentes desafia os limites toleráveis nas pesquisas sobre esquizofrenia. Esses autores mencionam o trabalho de Adams em 1998, que mostra que 75% dos ensaios sobre esquizofrenia usaram um total de 640 escalas eferentes para avaliar o desfecho, das quais 369 foram usadas somente uma vez.
- Foi trazido à discussão também a distinção entre a revisão sistemática e a revisão narrativa. Este assunto foi apresentado anteriormente neste weblog (ver o seguinte link: http://semiologiamedica.blogspot.com/2009/04/artigo-cientifico-original-x-revisao.html).
- Questionou-se durante o seminário por que não foram incluídos estudos não-experimentais na revisão. No sentido de minimizar o risco de erros sistemáticos (viés), é altamente recomendável que se utilizem na análise dos dados apenas os resultados de ensaios clínicos. Ao se avaliarem estudos desenvolvidos com base em outros desenhos metodológicos (estudos de coortes, estudos tipo caso-controle), embora seja possível a utilização da metodologia de revisão sistemática, os resultados e conclusões desta revisão sofrerão limitações, dado o menor nível de evidência destes estudos. A questão da pesquisa (embora não explícita) é sobre intervenção e o estudo indicado para este problema é a pesquisa experimental.
4- Discussão
- Também se discutiram quais seriam as implicações dos resultados da revisão sistemática analisada para a prática clínica. Frente à necessidade de construir subsídios para a prática da atenção comunitária, a partir dos Centros de Atenção Psicossocial (CAPS), que devem funcionar como sustentação para o processo da Reforma Psiquiátrica no Brasil, o estudo é relevante clínica e socialmente.
Referências usadas na análise crítica do artigoGONÇALVES-PEREIRA, M. X. et al. Intervenções familiares na esquizofrenia: Dos aspectos teóricos à situação em Portugal. Acta Méd Port, 19: 1-8, 2006.
COUTINHO, E. S. F., HUF, G.; BLOCH, K. V. Ensaios clínicos pragmáticos: Uma opção na construção de evidências em saúde. Cad Saúde Pública, 19 (4): 1189-1193, 2003.
SOUSA, M. R.; RIBEIRO, A. L. P. Revisão sistemática e meta-análise de estudos de diagnóstico e prognóstico: um tutorial. Arq. Bras. Cardiol. 92 (3): 241-251, 2009.
Fonte da imagem: http://addictedtor.free.fr
