Agora que o projeto está finalizado, é preciso uma revisão cuidadosa para verificar se não há nenhum erro ou incoerência interna que possa prejudicar a qualidade ou validade de seu projeto. Neste post vamos discutir os erros mais frequentes, para ajudar na revisão do projeto. O foco são estudos clínicos e em educação, mas esses erros são comuns a projetos de todas as áreas do conhecimento.

Eles podem ser divididos em erros de planejamento e de execução. Muitos erros de execução ocorrem devido a um planejamento deficiente. No entanto, em alguns casos eles podem ocorrer por fatores externos, daí a importância da seção Factibilidade discutida no Post anterior. É preciso prever esses eventuais erros e traçar estratégias de mitigação.  

Isso aconteceu comigo no meu doutorado. O projeto inicial era para estudar prospectivamente pacientes com a turberculose e infectados pelo HIV. Havia cerca de 60 a 100 casos novos por ano no serviço onde eu trabalhava. No entanto, o início do meu estudo coincidiu com o início do uso do coquetel e no primeiro ano de recrutamento, consegui menos de 20 voluntários. Foi um fator externo imprevisto. Tive que fazer novo projeto…

Revisão inadequada da literatura

Não realizar uma revisão da literatura abrangente é um dos erros mais comuns. Sem isso, o pesquisador pode não estar ciente de estudos existentes, das lacunas no conhecimento e das metodologias previamente utilizadas. Isto vai impactar toda a elaboração do projeto, levando a perguntas potencialmente pouco relevantes e a hipóteses e objetivos inadequados. Por isso, a revisão da literatura é sempre o primeiro passo! Estude o que você quer pesquisar para identificar as lacunas de conhecimento e fazer perguntas relevantes.

Exemplos:

• • Um estudo sobre o impacto da dieta mediterrânea em pacientes com doença cardíaca pode ignorar pesquisas anteriores que já exploraram essa relação, resultando em duplicação de esforços e desperdício de recursos.
  • Investigar a eficácia de um novo método de ensino sem revisar estudos anteriores pode levar à implementação de técnicas já conhecidas e testadas, em vez de explorar novas abordagens.

Pergunta de pesquisa confusa ou pouco relevante

Muitos pesquisadores começam um projeto sem uma pergunta de pesquisa bem definida. Isso pode levar a um estudo sem foco e com resultados pouco significativos. Mesmo que a dificuldade não seja percebida na elaboração da hipótese e dos objetivos, você se sentirá perdido quando for redigir a seção Materiais e Métodos. Você não terá um escopo bem definido e os objetivos serão inespecíficos. Neste caso, será preciso voltar a pergunta e, talvez, refazer a revisão da literatura.

Exemplos:

• • Um pesquisador deseja estudar o impacto de uma nova terapia para a diabetes, mas não define claramente qual aspecto da diabetes mellitus será avaliado (controle glicêmico, complicações a longo prazo, qualidade de vida, etc.). Isso pode resultar em um estudo confuso, com dados dispersos e conclusões pouco claras.
  • Um pesquisador quer investigar o uso de tecnologia em sala de aula, mas não especifica se o foco é no engajamento dos alunos, no desempenho acadêmico ou na satisfação dos professores. Sem essa clareza, o estudo pode não fornecer informações úteis ou aplicáveis.

Hipóteses mal elaboradas

Hipóteses que são vagas, não testáveis ou não alinhadas com a pergunta de pesquisa podem comprometer a direção do estudo. Os sintomas são semelhantes do tópico anterior: falta de direção e escopo indefinido. A solução é a mesma, rever a pergunta e, se necessário, refazer a revisão da literatura.

Exemplos:

• • Veja a hipótese a seguir “A nova terapia será benéfica para pacientes com câncer.” Ela é muito vaga, pois não especifica quais benefícios são esperados (melhora na sobrevida, redução de sintomas, etc.).
  • Agora um exemplo na área de educação: “O uso de tecnologia em sala de aula melhorará a educação.” Essa hipótese não define quais aspectos da educação serão melhorados (desempenho acadêmico, motivação dos alunos, etc.).

Definição inadequada de objetivos

Objetivos que não são específicos, mensuráveis, alcançáveis, relevantes e com prazo definido (SMART) podem dificultar a execução e avaliação do estudo. Muitas vezes, os objetivos inespecíficos e mal elaborados estão relacionados a uma hipótese muito vaga ou a uma pergunta de pesquisa pouco relevante. Outro erro que pode acontecer neste ponto é o excesso de objetivos. Pensando em um projeto de iniciação científica ou mestrado, o ideal é trabalhar com apenas um objetivo geral e cerca de três específicos. Quanto mais objetivos, mais complexo será o estudo e mais tempo e recursos serão necessários.

Exemplos:

• • Objetivo vago como “avaliar os efeitos de uma nova droga para hipertensão” sem especificar quais efeitos, em que tipo de pacientes e em quanto tempo.
  • “Melhorar o aprendizado dos alunos” sem definir como esse aprendizado será medido, qual a faixa etária dos alunos ou o contexto educacional específico.

Desenho inadequado do estudo

Escolher um desenho de estudo que não se alinha com os objetivos é um erro comum. Ao longo do processo de elaboração do projeto, às vezes é necessário trocar o desenho do estudo em relação a proposta inicial, mas deve-se escolher um desenho que seja compatível com os objetivos. Lembre-se que o estudo tem que ser factível de acordo com o seus prazos e recursos. Por vezes, pode ser necessário rever os objetivos.

Exemplos:

• • Usar um estudo observacional transversal para avaliar a eficácia de uma intervenção ao inés de um ensaio clínico.
  • Optar por um estudo transversal para avaliar o desempenho de um grupo de alunos com base na sua nota de entrada, quando um estudo longitudinal seria mais adequado.

Seleção de população e amostra inadequadas

A população e a amostra são problemas recorrentes. Não definir claramente a população-alvo e a amostra pode introduzir vieses e comprometer a generalização dos resultados. Este erro decorre geralmente de critérios de inclusão e exclusão muito amplos, que não delimitam bem a população-alvo. O inverso também é um problema. Utilizar critérios de inclusão e exclusão muito rígidos, reduzirão a taxa de recrutamento. É preciso buscar um equilíbrio. Outro erro que pode ocorrer é a falta de acesso a população-alvo ou população acessível. Este problema pode ser mitigado pela inclusão de outros centros de estudos ou pela realização de estudos on-line, se for possível de acordo com os objetivos e o desenho do estudo.

Em relação a amostra, o erro mais frequente é não realizar o cálculo amostral. Como foi visto, o tamanho da amostra necessária para comprovar sua hipótese deve ser estimado com base na diferença que você espera encontrar. Não estimar o tamanho da amostra, pode levar a um número de pessoas insuficientes para demonstrar a diferença esperada. Por isso é muito importante realizar o cálculo amostral e avaliar se a população acessível é suficiente. Caso não seja, você pode avaliar as alternativas anteriores ou rever o desenho do estudo, pois ele vai influenciar o número de voluntários.

Exemplos:

• • Estudar os efeitos de um tratamento em uma população muito restrita (por exemplo, apenas homens jovens) e tentar generalizar os resultados para todas as faixas etárias e gêneros.
  • Avaliar o impacto de uma intervenção educacional apenas em uma escola particular e tentar aplicar os resultados a todas as escolas públicas.

Falhas na coleta e gestão de dados

Procedimentos inadequados de coleta e gestão de dados podem resultar em perda de informações importantes, erros e baixa reprodutibilidade. Esses erros estão relacionados a instrumentos inadequados ou incompletos. A primeira ação para se evitar isto é durante o planejamento, definindo de forma clara as variáveis que precisam ser coletadas, incluindo as variáveis de confusão. Durante a fase de execução, a realização de pré-teste é essencial para verificar se os instrumentos de coleta estão adequados. Não se esqueça de elaborar o manual de coleta e codificação de dados e de trainar a equipe de entrevistadores. Passos essencial para reduzir os erros de coleta.

Além de problemas relacionados aos instrumentos de coleta, pode haver erros no processo de codificação dos questionários e na estrutura do banco de dados. Para prevenir os erros de codificação, a forma como as variáveis serão coletas (tipo da variável, categórica, contínua, discreta) e codificadas deve ser bem planejadas e discutidas com o responsável pela análise de dados. A estrutura do banco de dados também é muito importante, pois pode ser necessário refazer o banco todo, caso a estrturua seja inadequadas para as necessidades do estudo. Erros de digitação sempre ocorrem. As estratégias para o controle deles, como dupla entrada e análise lógica, estão detalhadas no Post sobre análise de dados. Lembre-se que o pré-teste inclui a codificação e digitação também, assim você pode verificar o processo todo.

Exemplos:

• • Não treinar adequadamente a equipe de coleta de dados, resultando em medições inconsistentes e dados imprecisos.
  • Usar questionários mal elaborados ou não validados, que não capturam adequadamente as informações necessárias (constructo ou traço latente), resultando em dados de baixa qualidade.

Planejamento inadequado dos procedimentos

Falta de um planejamento detalhado dos procedimentos pode levar a atrasos, problemas logísticos,  dificuldades na implementação do estudo e erros na coleta de dados. Planeje de forma bem detalhada os fluxos de consultas, exames, os momentos de coleta de dados, o agendamento dos acompanhamentos e os prazos para realização de cada etapa. Não se esqueça conferir os feriados e eventos locais que podem interferir no seu estudo, além de períodos de prova e final de semestre, se estiver trabalhando com pesquisa em educação. Caso vá utilizar algum procedimento que não tem experiência, procure alguém que já o utilizou para ver os problemas operacionais e logísticos que podem acontecer. Parte dos procedimentos podem ser incluídos no pré-teste, mas não é possível incluir todos. Faça um acompanhamento cuidadoso ao longo da execução do projeto e corrija rapidamente eventuais erros que possam ocorrer. Caso necessário, reveja o cronograma.

Exemplos:

• • Não planejar a logística de entrega e administração de medicamentos, resultando em falhas no tratamento e dados inconsistentes.
  • Não definir claramente as etapas de implementação de uma nova metodologia de ensino, causando confusão entre os professores e impactando negativamente os resultados.

Análise de dados inadequada

Estratégias e testes estatísticos inadequados na análise de dados podem levar a resultados e interpretações equivocadas. Esses erros muitas vezes estão relacionados a descrição inadequada das variáveis na fase de elaboração do projeto. Todas as variáveis precisam ser detalhadas e a forma como são interpretadas também, por isso é importante envolver o responsável pela análise de dados já fase de planejamento.

Na fase de análise, não se pode esquecer de testar anormalidade da distribuição das variáveis contínuas para definir se será utilizado um teste paramétrico ou não paramétrico.

Já acompanhei uma situação grave, por erro de planejamento. Um ensaio clínico multicêntrico internacional usou uma escala de avaliação de de fibrose (cicatrização) do fígado, como variável dependente (desfecho). Era uma escala categórica de 1 a 5, sendo 1 ausência de cicatrização (fígado normal) e 5 cirrose (cicatrização quase completa do fígado). A empresa multinacional que fez a análise estatística considerou a variável como numérica, calculou a média e fez toda a análise de dados baseado nesta premissa. No entanto, a variável era categórica e deveria ter sido transformada em uma variável dicotômica (ausência de fibrose ou fibrose leve versus fibrose moderada a grave). O erro só foi identificado após a entrega do relatório final e toda a análise estatística teve que ser feita, por uma falha no plano de análise de dados, que não especificou o tipo da variável e como ela deveria ser interpretada.

Exemplos:

• • Utilizar testes estatísticos inadequados para os tipos de dados coletados, resultando em conclusões inválidas sobre a eficácia de um tratamento.
  • Analisar dados qualitativos como se fossem quantitativos, perdendo nuances importantes das respostas dos participantes.

Considerações éticas inadequadas

Ignorar ou subestimar as normas éticas e as recomendações do Comitê de Ética em Pesquisa institucional (CEP) e do Conselho Nacional de Étiuca em Pesquisa pode levar a atrasos no processo de aprovação ou até a rejeição do projeto. Caso você realize o projeto sem o devido consentimento do CEP, possivelmente não conseguirá divulgar os seus resultados, pois os congressos e perioódicos tam exigido a aprovação do CEP para o envio dos trabalhos. Lembre-se que se a pesquisa envolver seres humanos, o projeto deve ser aprovado pelo CEP antes do início de sua execução, mesmo que haja dispensa do uso do termo de consentimento livre e esclarecido (TCLE). Relatos de caso também precisam da aprovação prévia. Verifique no Post sobre Aspectos Éticos as situações em que é necessária a submissão ao CEP.

Não se esqueça de seguir o modelo de TCLE recomendado pelo CEP de sua instituição. Também é importante lembrar que o TCLE e os instrumentos de coleta de dados devem ser anexados em separado na Plataforma Brasil, além de estarem incluídos como apêndices ou anexos no arquivo completo do projeto.

Estudos que não envolvem seres humanos, revisões sistemáticas e meta-análises e o uso de dados públicos e anônimos geralmente não requerem aprovação do CEP. Na dúvida, entre em contato com o Comitê para evitar problemas futuros.

Conclusão

Elaborar um projeto de pesquisa requer atenção a diversos detalhes, desde a formulação da pergunta de pesquisa até a análise dos dados. Evitar os erros comuns pode aumentar significativamente a qualidade e a validade do seu estudo e evitar problemas durante a execução do projeto. Ao estar ciente desses desafios e trabalhar para superá-los, você estará no caminho certo para realizar uma pesquisa relevante e impactante.

Não deixe que erros evitáveis comprometam a qualidade do seu trabalho. Invista tempo no planejamento e na revisão detalhada do seu projeto. Cada etapa bem planejada é um passo a mais rumo ao sucesso.