Não basta encontrar um artigo científico: é preciso saber se ele merece ser citado. Publicar em ciência é relativamente acessível hoje, e o volume de estudos com falhas metodológicas sérias cresceu nas últimas décadas. Saber distinguir uma fonte confiável de uma frágil é uma das habilidades mais importantes de qualquer pesquisador, estudante ou profissional que trabalha com evidências. Este guia mostra os critérios que realmente importam.
1. A fonte passou por revisão por pares?
A revisão por pares (peer review) é o processo pelo qual um artigo submetido a um periódico é avaliado anonimamente por dois ou mais especialistas independentes da área antes de ser aceito para publicação. Esses revisores analisam a metodologia, a coerência dos resultados, a relevância das conclusões e a integridade dos dados.
Esse processo não é perfeito: revisores erram e artigos com problemas passam. Mas é o principal filtro de qualidade da ciência e a diferença fundamental entre um artigo publicado em um periódico indexado e uma postagem em : ou relatório sem revisão.
Como verificar: Busque o artigo no PubMed ou na página oficial do periódico. Se o periódico consta no DOAJ ou no Scimago Journal Rankings, é peer-reviewed. Periódicos predatórios existem (veja o item 6).
2. Existe conflito de interesse declarado?
O conflito de interesse ocorre quando o pesquisador ou a instituição que financiou o estudo tem interesse financeiro, profissional ou pessoal no resultado. Isso não invalida automaticamente um estudo, mas é um fator de risco que precisa ser considerado na interpretação.
Estudos financiados pela indústria farmacêutica, por exemplo, têm sistematicamente maior probabilidade de reportar resultados favoráveis ao produto analisado. Uma meta-análise publicada no BMJ mostrou que estudos com financiamento industrial têm 4 a 5 vezes mais chance de concluir que o produto do patrocinador é eficaz, em comparação a estudos independentes sobre o mesmo tema.
O que observar na seção de conflito de interesse:
- O estudo foi financiado por uma empresa com interesse no resultado?
- Os autores receberam honorários, ações ou consultoria da empresa?
- A declaração diz "os autores declaram não haver conflito de interesse": isso é positivo, mas não é garantia
- Estudos sem declaração alguma (especialmente em periódicos mais antigos) devem ser tratados com mais cautela
Regra prática: Conflito de interesse não descarta o estudo, mas exige que você busque estudos independentes sobre o mesmo tema para corroborar ou contestar os achados.
3. O tamanho da amostra é adequado?
O tamanho da amostra (n amostral) determina o poder estatístico de um estudo, ou seja, a capacidade de detectar um efeito real caso ele exista. Um estudo com amostra pequena pode tanto deixar de detectar um efeito real (falso negativo) quanto inflar efeitos por variação aleatória.
Não existe um número mágico universalmente "adequado": depende do tamanho do efeito esperado, da variabilidade dos dados e do nível de significância adotado. Mas há parâmetros práticos:
| Tipo de estudo | Amostra mínima orientativa | Sinal de alerta |
|---|---|---|
| Ensaio clínico randomizado (ECR) | Calculado por poder estatístico (geralmente 80–90%) | n < 50 por grupo sem justificativa |
| Estudo de coorte | Centenas a milhares | n < 100 para desfechos raros |
| Revisão sistemática / meta-análise | Baseada nos estudos incluídos | Menos de 3 estudos primários incluídos |
| Estudo transversal (survey) | 200–500+ para inferências populacionais | n < 50 com generalização ampla |
| Relato de caso | 1–5 casos | Sempre. Use apenas como gerador de hipótese |
Verifique também se os autores fizeram o cálculo do tamanho amostral antes de iniciar o estudo (análise a priori) e se descrevem o poder estatístico. Um estudo que terminou com resultado negativo mas tinha poder estatístico de apenas 40% simplesmente não tinha capacidade de detectar o efeito, e esse resultado negativo não serve como evidência de ausência de efeito.
4. O design do estudo é adequado para a pergunta?
Diferentes perguntas de pesquisa exigem diferentes designs de estudo. Um estudo observacional não pode responder perguntas de eficácia causal da mesma forma que um ensaio clínico randomizado. Usar um estudo com design fraco para sustentar uma afirmação forte é um erro metodológico grave.
| Pergunta de pesquisa | Design mais adequado | Design insuficiente |
|---|---|---|
| "Este tratamento funciona?" | ECR (ensaio clínico randomizado) | Relato de caso, opinião de especialista |
| "Este fator causa doença?" | Coorte prospectiva, ECR | Estudo transversal (correlação ≠ causalidade) |
| "Qual a prevalência na população?" | Estudo transversal representativo | Amostra de conveniência pequena |
| "Qual a melhor evidência disponível?" | Revisão sistemática + meta-análise | Revisão narrativa sem critérios explícitos |
| "O teste diagnóstico é preciso?" | Estudo de acurácia com padrão-ouro | Série de casos sem comparador |
5. Os resultados são estatisticamente e clinicamente significativos?
Muitos leitores olham apenas para o p-valor, e isso é insuficiente. Um resultado estatisticamente significativo (p < 0,05) pode ser clinicamente irrelevante, especialmente em amostras muito grandes, onde qualquer diferença mínima se torna "significativa".
O que analisar além do p-valor:
- Tamanho do efeito (effect size): d de Cohen, odds ratio, risco relativo, NNT (número necessário para tratar). Um OR de 1,05 pode ser estatisticamente significativo com n = 100.000, mas clinicamente irrelevante
- Intervalo de confiança (IC 95%): mostra a precisão da estimativa. Um IC amplo indica incerteza alta, mesmo com p < 0,05
- Relevância clínica declarada pelos autores: os próprios pesquisadores discutem se o achado tem impacto prático?
Exemplo prático: Um medicamento que reduz a pressão arterial em 1 mmHg com p = 0,001 (n = 50.000) é estatisticamente significativo, mas clinicamente irrelevante. Essa diferença não muda desfechos como infarto ou AVC.
6. O periódico é legítimo ou predatório?
Periódicos predatórios (predatory journals) cobram taxas de publicação sem oferecer revisão por pares real, com o único objetivo de lucrar. Eles aceitam praticamente qualquer artigo submetido, sem filtro de qualidade. Artigos publicados neles não têm valor científico e não deveriam ser citados.
Como identificar um periódico predatório:
- Promete publicação em dias. Revisão por pares real leva semanas a meses
- E-mails não solicitados convidando para publicar ou participar de conselho editorial
- Nome similar a periódicos consagrados ("International Journal of Medicine" vs. NEJM)
- Não está no DOAJ, PubMed ou Scopus. Verifique antes de citar
- Consta no Scimago Journal Rankings (SJR): periódico indexado com fator de impacto
- ISSN verificável no Portal ISSN e artigos indexados no PubMed ou Scopus
Use a lista Beall's List (atualizada pela comunidade) e o site Think. Check. Submit. para verificar a legitimidade de um periódico antes de usar ou publicar.
7. O fator de impacto importa, mas não é tudo
O fator de impacto (Impact Factor, IF) é uma métrica que mede quantas vezes os artigos de um periódico foram citados nos dois anos anteriores. Periódicos como Nature (IF ~69), NEJM (IF ~96) e The Lancet (IF ~98) têm altíssimo impacto, o que significa que seus artigos influenciam muito a comunidade científica.
Mas o fator de impacto tem limitações importantes:
- Varia muito entre áreas (um IF de 3 é excelente em humanidades, medíocre em medicina)
- Periódicos de alto impacto também publicam artigos que são depois retratados
- Periódicos de nicho com IF baixo podem publicar estudos fundamentais para sua área específica
- O IF mede a revista, não o artigo individual
Use o fator de impacto como um indício de qualidade editorial, não como critério exclusivo.
8. As conclusões estão alinhadas com os dados?
Um dos problemas mais frequentes em artigos científicos, inclusive em periódicos de prestígio, é o desalinhamento entre dados e conclusões: os autores concluem mais do que seus dados permitem.
Exemplos comuns:
- Estudo observacional conclui causalidade ("X causa Y") quando só demonstrou associação
- Estudo em ratos ou células conclui efeitos em humanos
- Análise de subgrupo não planejada é apresentada como achado principal
- Resultado secundário estatisticamente significativo é destacado enquanto o desfecho primário foi negativo
Sempre compare a seção de resultados com a seção de discussão e conclusão. Se os autores fazem afirmações na conclusão que não estão diretamente suportadas pelos dados apresentados, trate o estudo com reserva.
9. O estudo foi replicado?
Um único estudo, mesmo bem desenhado, raramente é suficiente para estabelecer um fato científico. A replicação é o processo pelo qual outros pesquisadores independentes reproduzem os resultados em populações e contextos diferentes. Resultados que se replicam consistentemente têm muito mais peso.
A crise de replicação na ciência (especialmente em psicologia e medicina) mostrou que até 50% dos estudos publicados em revistas respeitadas não se replicam quando testados. Por isso:
- Prefira revisões sistemáticas e meta-análises (que sintetizam múltiplos estudos) a estudos isolados
- Busque se o mesmo resultado foi encontrado por grupos independentes em populações diferentes
- Resultados "sensacionais" de um único estudo merecem ceticismo saudável
Checklist rápido para avaliar uma fonte científica
Antes de citar um artigo, passe por essas perguntas:
- O artigo foi publicado em periódico com revisão por pares (indexado no PubMed, Scopus ou DOAJ)?
- O conflito de interesse está declarado e os financiadores não têm interesse direto no resultado?
- O tamanho da amostra é adequado e foi calculado antes do estudo (poder estatístico ≥ 80%)?
- O design do estudo é compatível com a pergunta de pesquisa?
- Os resultados reportam tamanho de efeito e intervalo de confiança, não só p-valor?
- As conclusões estão alinhadas com os dados (sem exageros ou extrapolações)?
- Os resultados foram replicados por outros grupos ou corroborados por uma revisão sistemática?
A Clara avalia a qualidade metodológica por você
O Índice de Confiança Metodológica (ICM) da Clara considera o tipo de estudo, a fonte, o número de citações e outros critérios para classificar a qualidade de cada artigo retornado, em português, com ABNT automático.
Ver fontes com qualidade avaliada →Conclusão
Avaliar a qualidade de uma fonte científica vai muito além de verificar se ela foi publicada em uma revista. Revisão por pares, conflito de interesse, tamanho amostral, adequação do design e replicação independente são os critérios que fazem diferença real na hora de decidir o que vale ou não vale citar.
Quanto mais você praticar essa leitura crítica, mais rápido se tornará o processo e mais sólido será o referencial teórico dos seus trabalhos. Saiba também quais bases de dados usar para encontrar fontes de qualidade. Ferramentas como a Clara IA ajudam a filtrar fontes de maior qualidade desde a busca inicial, economizando tempo sem abrir mão do rigor.