Por Thereza Taylanne Souza Loureiro Cavalcanti
Estudante de Graduação em Medicina da UFPB
Resumo
Na interpretação de resultados de pesquisas científicas, é necessária a devida observação de todas as possibilidades de erros, que podem ser erros aleatórios (acaso) ou sistemáticos (vieses, confundimento e interação). A validade de um estudo é o seu grau de conformidade com uma verdade. A validade externa refere-se à capacidade de generalização, enquanto validade interna é o grau em que os resultados da pesquisa refletem acuradamente a realidade observada. Viés é um desvio sistemático dessa verdade. Confundimento é a incapacidade de se distinguirem os efeitos de duas ou mais variáveis, enquanto na interação, o efeito de um fator depende da interveniência de uma terceira variável.
Palavras-chave: Metodologia. Validade dos Testes. Viés (Epidemiologia).
Na leitura de trabalhos científicos, é preciso atentar à existência dos erros aleatórios (acaso) e dos erros sistemáticos (vieses, confusão, interação), que todos os estudos possuem, para avaliar se suas conclusões são válidas. Até que ponto os resultados de um estudo estão distorcidos em decorrência de erros metodológicos na sua concepção (modelo) e/ou na análise dos dados?
Em geral, técnicas de medição empregadas em pesquisas têm imperfeições que dão origem a erros nas estimações de variáveis. Estes são denominados "erros sistemáticos", que são erros grosseiros que podem decorrer, por exemplo, da má leitura de escalas de avaliação, de ajustes imperfeitos de instrumentos de coleta de dados, da seleção enviesada dos sujeitos da amostra; ou seja, esses são erros decorrentes basicamente de problemas nas técnicas e no método empregados na investigação.
Os erros aleatórios, por sua vez, decorrem do acaso, ou seja, resultam de fatores não controlados na execução da coleta de dados, e seu efeito consiste em produzir acréscimos ou decréscimos nos valores obtidos. Estes efeitos aleatórios são a causa de variações em observações repetidas do que se está mensurando. Ao contrário do erro sistemático, que desvia os valores em uma direção ou em outra, o erro aleatório tem igual probabilidade de resultar em observações acima ou abaixo do valor verdadeiro.
Embora não seja possível compensar o erro aleatório de um resultado de medição, ele pode ser reduzido, aumentando-se o tamanho da amostra. Os erros sistemáticos também não podem ser eliminados, porém podem ser reduzidos com emprego do devido rigor na metodologia e nas técnicas de pesquisa (GALLAS, 1994).
O presente texto trata dos erros sistemáticos. Estes erros podem afetar a validade de uma pesquisa.
Validade científica é a acurácia das observações no contexto de uma pesquisa. Existem descrições de muitas formas de validade, mas em metodologia científica destacam-se a validade interna e a externa.
Um estudo tem validade interna quando seus resultados não podem ser atribuídos a erros sistemáticos. A validade interna, por sua vez, é o grau em que os resultados de uma pesquisa refletem de fato o real. Esta é uma característica de mensuração que se relaciona à qualidade dos resultados, ou seja, ao grau de conformidade com uma verdade padrão (LANGENDOLFF-PELLEGRINI, 2008). Esse conceito relaciona-se à diferença entre o valor efetivo de uma quantidade medida e o valor provável que foi derivado de uma série de medições (MONICO, 2009).
Mas será que os achados específicos de um estudo em uma população específica, mesmo com validade interna, podem ser generalizados para uma outra população? Esta é a chamada validade externa, que se refere à capacidade de os dados serem generalizados da amostra estudada para a população-alvo e para outras populações além da que foi objeto da pesquisa. O grau de confiança de uma extrapolação é melhorado através do emprego de técnicas aleatórias de amostragem aleatória e de uma amostra mais numerosa (COOPER; SCHINDLER, 2003). Trata-se, portanto, da possibilidade de generalização para a população-alvo dos resultados obtidos na amostra.
Muitos instrumentos de coleta de dados são padronizados e precisam ser submetidos a processos de validação para uma determinada população. Nesse aspecto, segundo Cooper e Schindler (2003) reconhecem-se classicamente três formas principais de validação de instrumentos de pesquisa: (1) validade de conteúdo; (2) validade de critério e (3) validade de constructo.
A validade de conteúdo remete ao quanto o instrumento de pesquisa fornece cobertura adequada do tópico em questão, ou seja, a escala de mensuração mede realmente o que se espera que ela mensure. A validade de critério é o sucesso de medidas usadas para predições ou estimativas. A validade de constructo, por sua vez, avalia o grau de aptidão de um instrumento, em medir, ou inferir, a presença de uma propriedade abstrata. Sobre validade de critério, ou acurácia, ver postagem anterior deste blog no seguinte link:
http://semiologiamedica.blogspot.com/2008/12/diagnstico-probabilstico.html
A validação de um teste, ou escala de medição, referente a uma determinada variável, presume que haja um padrão-ouro com o qual o teste é comparado. Como os valores efetivos nunca são conhecidos de fato, na prática, não existe uma escala de mensuração que seja perfeita (LANGENDOLFF; PELLEGRINI, 2008).
Os erros sistemáticos que podem afetar a validade dos estudos dependem também do modelo da pesquisa. Pinho-Spyrides (2007) citam, nesse sentido, algumas desvantagens dos estudos observacionais quando comparados aos estudos experimentais: naqueles, os pesquisadores só podem observar as variáveis explanatórias, sem controlá-las, o que pode favorecer a ocorrência de alguns tipos de erros, tais como:
Em geral, técnicas de medição empregadas em pesquisas têm imperfeições que dão origem a erros nas estimações de variáveis. Estes são denominados "erros sistemáticos", que são erros grosseiros que podem decorrer, por exemplo, da má leitura de escalas de avaliação, de ajustes imperfeitos de instrumentos de coleta de dados, da seleção enviesada dos sujeitos da amostra; ou seja, esses são erros decorrentes basicamente de problemas nas técnicas e no método empregados na investigação.
Os erros aleatórios, por sua vez, decorrem do acaso, ou seja, resultam de fatores não controlados na execução da coleta de dados, e seu efeito consiste em produzir acréscimos ou decréscimos nos valores obtidos. Estes efeitos aleatórios são a causa de variações em observações repetidas do que se está mensurando. Ao contrário do erro sistemático, que desvia os valores em uma direção ou em outra, o erro aleatório tem igual probabilidade de resultar em observações acima ou abaixo do valor verdadeiro.
Embora não seja possível compensar o erro aleatório de um resultado de medição, ele pode ser reduzido, aumentando-se o tamanho da amostra. Os erros sistemáticos também não podem ser eliminados, porém podem ser reduzidos com emprego do devido rigor na metodologia e nas técnicas de pesquisa (GALLAS, 1994).
O presente texto trata dos erros sistemáticos. Estes erros podem afetar a validade de uma pesquisa.
Validade científica é a acurácia das observações no contexto de uma pesquisa. Existem descrições de muitas formas de validade, mas em metodologia científica destacam-se a validade interna e a externa.
Um estudo tem validade interna quando seus resultados não podem ser atribuídos a erros sistemáticos. A validade interna, por sua vez, é o grau em que os resultados de uma pesquisa refletem de fato o real. Esta é uma característica de mensuração que se relaciona à qualidade dos resultados, ou seja, ao grau de conformidade com uma verdade padrão (LANGENDOLFF-PELLEGRINI, 2008). Esse conceito relaciona-se à diferença entre o valor efetivo de uma quantidade medida e o valor provável que foi derivado de uma série de medições (MONICO, 2009).
Mas será que os achados específicos de um estudo em uma população específica, mesmo com validade interna, podem ser generalizados para uma outra população? Esta é a chamada validade externa, que se refere à capacidade de os dados serem generalizados da amostra estudada para a população-alvo e para outras populações além da que foi objeto da pesquisa. O grau de confiança de uma extrapolação é melhorado através do emprego de técnicas aleatórias de amostragem aleatória e de uma amostra mais numerosa (COOPER; SCHINDLER, 2003). Trata-se, portanto, da possibilidade de generalização para a população-alvo dos resultados obtidos na amostra.
Muitos instrumentos de coleta de dados são padronizados e precisam ser submetidos a processos de validação para uma determinada população. Nesse aspecto, segundo Cooper e Schindler (2003) reconhecem-se classicamente três formas principais de validação de instrumentos de pesquisa: (1) validade de conteúdo; (2) validade de critério e (3) validade de constructo.
A validade de conteúdo remete ao quanto o instrumento de pesquisa fornece cobertura adequada do tópico em questão, ou seja, a escala de mensuração mede realmente o que se espera que ela mensure. A validade de critério é o sucesso de medidas usadas para predições ou estimativas. A validade de constructo, por sua vez, avalia o grau de aptidão de um instrumento, em medir, ou inferir, a presença de uma propriedade abstrata. Sobre validade de critério, ou acurácia, ver postagem anterior deste blog no seguinte link:
http://semiologiamedica.blogspot.com/2008/12/diagnstico-probabilstico.html
A validação de um teste, ou escala de medição, referente a uma determinada variável, presume que haja um padrão-ouro com o qual o teste é comparado. Como os valores efetivos nunca são conhecidos de fato, na prática, não existe uma escala de mensuração que seja perfeita (LANGENDOLFF; PELLEGRINI, 2008).
Os erros sistemáticos que podem afetar a validade dos estudos dependem também do modelo da pesquisa. Pinho-Spyrides (2007) citam, nesse sentido, algumas desvantagens dos estudos observacionais quando comparados aos estudos experimentais: naqueles, os pesquisadores só podem observar as variáveis explanatórias, sem controlá-las, o que pode favorecer a ocorrência de alguns tipos de erros, tais como:
(a) Viés de seleção (amostragem): recusas à participação no estudo podem gerar controles não representativos da população em risco;
(b) Confundimento (confusão): quando não se consegue distinguir os efeitos de duas ou mais variáveis separadamente uns dos outros; isto pode ocorrer quando a associação é resultado de variáveis não controladas no estudo;
(c) Viés de informação (mensuração): erros de medição, na coleta, nos formulários, nas perguntas e despreparo dos entrevistadores.
Alguns vieses são evitáveis. No estudo experimental, ou ensaio clínico, por exemplo, os erros sistemáticos são diminuídos, se tanto sujeito, grupo e tratamento forem escolhidos casual e cegamente, além de serem pareados. Essa homogeneização dos grupos amostrais permite manter os fatores de confusão minimamente equivalentes entre os grupos, tornando-os irrelevantes quando estes são comparados. Entende-se como confundimento a incapacidade de se distinguirem os efeitos de duas ou mais variáveis quando separadas entre si (BALDUCCI, 2011; PINHO; SPYRIDES, 2007).
Contudo, mesmo nos ensaios clínicos, o viés na informação, na coleta, na avaliação e na classificação dos dados, também pode ser uma das maiores ameaças à sua validade; por outro lado, algumas condutas exigidas em estudos clínicos randomizados duplo-cegos podem comprometer a generalização de seus resultados, ou seja, a sua validade externa (DAINESI, 2010).
Uma vez que os vieses e agentes de confusão foram considerados no delineamento do estudo e na sua análise, deve-se avaliar também se existe interação entre as variáveis, ou seja, se o efeito de uma na resposta depende do efeito de outra. É muito importante averiguar essa possível relação entre os fatores antes de analisá-los isoladamente. Essas informações também devem ser apresentadas nos resultados da pesquisa (BALDUCCI, 2011).
Ainda como registra Balducci (2011), a interpretação causal (relação causa-efeito) dos resultados de uma pesquisa também é um aspecto delicado. A inferência causal depende do delineamento de um estudo, e não no tipo de análise estatística efetuada. Estudos transversais não permitem inferência causais.
Portanto, para que uma pesquisa tenha resultados válidos, é preciso que seja conduzida com rigor científico. São imprescindíveis o cuidado e o zelo nos métodos da pesquisa para que os resultados possam ser acurados e precisos.
Referências
BALDUCCI, I. Bioestatística e Metodologia Científica. Disponível em: http://www.ebah.com.br/content/ABAAAAPxkAA/bioestatistica-texto-metodologia-cientifica# Acesso em: 16 fev. 2012.Alguns vieses são evitáveis. No estudo experimental, ou ensaio clínico, por exemplo, os erros sistemáticos são diminuídos, se tanto sujeito, grupo e tratamento forem escolhidos casual e cegamente, além de serem pareados. Essa homogeneização dos grupos amostrais permite manter os fatores de confusão minimamente equivalentes entre os grupos, tornando-os irrelevantes quando estes são comparados. Entende-se como confundimento a incapacidade de se distinguirem os efeitos de duas ou mais variáveis quando separadas entre si (BALDUCCI, 2011; PINHO; SPYRIDES, 2007).
Contudo, mesmo nos ensaios clínicos, o viés na informação, na coleta, na avaliação e na classificação dos dados, também pode ser uma das maiores ameaças à sua validade; por outro lado, algumas condutas exigidas em estudos clínicos randomizados duplo-cegos podem comprometer a generalização de seus resultados, ou seja, a sua validade externa (DAINESI, 2010).
Uma vez que os vieses e agentes de confusão foram considerados no delineamento do estudo e na sua análise, deve-se avaliar também se existe interação entre as variáveis, ou seja, se o efeito de uma na resposta depende do efeito de outra. É muito importante averiguar essa possível relação entre os fatores antes de analisá-los isoladamente. Essas informações também devem ser apresentadas nos resultados da pesquisa (BALDUCCI, 2011).
Ainda como registra Balducci (2011), a interpretação causal (relação causa-efeito) dos resultados de uma pesquisa também é um aspecto delicado. A inferência causal depende do delineamento de um estudo, e não no tipo de análise estatística efetuada. Estudos transversais não permitem inferência causais.
Portanto, para que uma pesquisa tenha resultados válidos, é preciso que seja conduzida com rigor científico. São imprescindíveis o cuidado e o zelo nos métodos da pesquisa para que os resultados possam ser acurados e precisos.
Referências
COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. Porto Alegre: Bookman, 2003.
DAINESI, S. M. A metodologia probe pode ser considerada uma alternativa aos estudos randomizados duplo-cegos? Rev. Assoc. Med. Bras. 56 (2): 132-132, 2010.
GALLAS, R. M. Guia Para a Expressão da Incerteza de Medição. INMETRO, 1998,
LANGENDOLFF, A.; PELLEGRINI, G. Precisão e Acurácia. In: Fundamentos de cartografia e o sistema de posicionamento global. Santa Maria: Ministério da Educação, 2008. p. 15-16.
MONICO, J. F. G. et al. Acurácia e precisão: Revendo os conceitos de forma acurada. Bol. Ciênc. Geod. 15 (3): 469-483, 2009.
PINHO, A. L. S.; SPYRIDES, M. H. C. Métodos Estatísticos I. Natal: Departamento de Estatística – UFRN, 2007.
Crédito da Imagem: LANGENDOLFF e PELLEGRINI (2008).
