Psicologia: Teoria e Pesquisa
Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

Qualidade Metodológica das Revisões Sistemáticas em Periódicos de
Psicologia Brasileiros1
Ana Paula Couto Zoltowski2
Angelo Brandelli Costa
Marco Antônio Pereira Teixeira
Silvia Helena Koller
Universidade Federal do Rio Grande do Sul
RESUMO - Buscou-se avaliar a qualidade metodológica das revisões sistemáticas (RS) publicadas em periódicos brasileiros
de psicologia. Foi conduzida uma RS nas bases PePSIC e SciELO, usando as palavras-chave: “revisão” e “sistemática”.
Foram identificados e analisados 33 artigos através do instrumento Assessment of Multiple Systematic Reviews (AMSTAR).
A pontuação média das revisões foi 5,39 (em um escore que podia variar de 0 a 11). Houve diferença de qualidade entre as RS
publicadas no SciELO e as que o foram no PePSIC, mas não foi observada diferença conforme o estrato do periódico, segundo
o Qualis CAPES. Além disso, não verificou-se incremento na qualidade das publicações de 2001 a 2012. Sugere-se adoção de
diretrizes por parte dos periódicos e dos autores de forma a melhorar a qualidade das RS no Brasil.
Palavras-chave: revisão sistemática, metodologia, psicologia

Methodological Quality of Systematic Reviews in Brazilian Psychology Journals
Quality of systematic reviews in Psychology
ABSTRACT - The aim of this study is to measure the methodological quality of systematic reviews (SR) published in Brazilian
psychology journals. It was conducted a SR in SciELO and PePSIC databases, using “review” and “systematic” as keywords.
33 articles were identified and analyzed using the Assessment of Multiple Systematic Reviews (AMSTAR). The mean value
of quality was 5.39 (SD = 1.91) on a scale ranging from 0 to 11. Using criteria of Qualis CAPES, significant differences were
found in the quality of RS published in SciELO compared to those published in PePSIC, but not according to the journal
extract. No increase in quality was observed from 2001 to 2012. The adoption of guidelines for publication of SR is suggested,
in order to improve their quality in Brazil.
Keywords: systematic review, methodology, quality

A revisão sistemática (RS) é uma das técnicas mais robustas para avaliação e síntese da literatura em diversos campos
de conhecimento. O desenvolvimento dessa metodologia
deveu-se, especialmente, à Fundação Cochrane. Instituída
em 1992, no Reino Unido, a fundação ajudou a disseminar
estudos empregando a revisão sistemática como metodologia de referência para as pesquisas da medicina baseada em
evidências (Alderson & Higgins, 2004). De maneira geral,
uma revisão sistemática caracteriza-se pela aplicação de
estratégias de busca, análise crítica e síntese da literatura de
forma organizada, minimizando os vieses. Assim, revisar sistematicamente um problema de pesquisa implica um trabalho
reflexivo, não se resumindo a uma apresentação puramente
cronológica e/ou descritiva de uma temática (Fernández-Ríos
& Buela-Casal, 2009).
Para ter sua validade assegurada, um artigo de RS depende basicamente da sua qualidade metodológica. Revisões
de literatura tradicionais costumam adotar uma perspectiva
narrativa de linguagem informal e métodos subjetivos de
1

Apoio: CAPES.

2

Endereço para correspondência: Universidade Federal do Rio Grande
do Sul, Rua Ramiro Barcelos, 2600, Porto Alegre, RS, CEP 90035-003.
E-mail: ana_zoltowski@yahoo.com.br

busca e síntese de dados, potencializando assim vieses no
processo de revisão. Por outro lado, revisões sistemáticas
buscam apresentar um processo formal e controlado, com
critérios claros de inclusão e exclusão de estudos, a fim de
explicitar aos leitores o caminho metodológico realizado
(Akobeng, 2005).
Apesar de se colocar como uma metodologia robusta, nem
todas as revisões sistemáticas são realizadas com a mesma
qualidade. Os pesquisadores tendem a adotar diferentes
métodos e critérios para identificar, analisar e sintetizar os
dados, ocasionando assim uma variabilidade na maneira
de conduzir uma revisão sistemática (Littell, Corcoran, &
Pillai, 2008). Nesse sentido, a qualidade metodológica de
uma RS representa o quão bem ela foi conduzida (Jagannath, Mathew, Asokan, & Fedorowicz, 2011). Revisões bem
conduzidas aumentam a probabilidade da apresentação de
resultados não-enviesados, além de serem um pré-requisito
para interpretações e aplicações válidas (Shea et al., 2009).
É possível observar na literatura internacional uma preocupação crescente com a qualidade metodológica de estudos
de revisão sistemática, em especial na área da saúde. Salienta-se a presença de mais de 24 instrumentos internacionais para
avaliar a qualidade metodológica de revisões sistemáticas
(Jagannath et al., 2011). Um dos poucos instrumentos que
97

APC Zoltowski et al.

foram desenvolvidos de forma rigorosa e validada empiricamente é denominado Assessment of Multiple Systematic
Reviews (AMSTAR), que tem apresentado boas evidências
de validade de construto, concordância entre juízes e fidedignidade (Shea et al., 2009).
Apesar de mais populares e frequentes, as RS apresentam
limitações metodológicas importantes. Por exemplo, uma
avaliação do método e da qualidade das revisões sistemáticas
relacionadas à temática da ortodontia revelou aumento do
número de revisões sistemáticas; no entanto, estas tenderam
a apresentar limitações quanto à estratégia de busca dos
estudos e quanto à análise crítica da qualidade dos estudos
incluídos (Papageourgiou, Papadopoulos, & Athanasiou,
2011). Resultados parecidos com este foram encontrados
em uma avaliação das RS na área da Medicina Veterinária,
indicando poucos estudos com alta qualidade metodológica
(Faggion Jr., Listl, & Giannakopoulos, 2012). Soma-se a isso
a constatação de que, com o passar dos anos, as RS não têm
apresentado um aprimoramento significativo de qualidade
que acompanhe a crescente quantidade de publicações (MacDonald, Canfield, Fesperman, & Dahm, 2010).
No Brasil, há publicações que trazem diretrizes para a
realização de RS, além da apresentação de elementos importantes para a sua análise crítica (Berwanger, Suzumura,
Buehler, & Oliveira, 2007; Galvão, Sawada, & Trevizan,
2004; Sampaio & Mancini, 2007). Mesmo que exista essa
preocupação em orientar os autores quanto a como realizar
uma revisão adequada, a avaliação da qualidade metodológica dos artigos de RS já publicados no Brasil ainda é um
campo incipiente.
Um estudo buscou avaliar a apresentação textual de
RS em fisioterapia publicadas em português (Padula et al.,
2012). Foi adotado o instrumento Prefered Reporting Items for Systematic Reviews and Meta-Analysis (PRISMA)
composto por 27 itens-guia sobre informações que devem
ser claramente descritas no artigo (Liberati et al., 2009). O
PRISMA é utilizado para avaliar as características de redação
do estudo e não necessariamente sua qualidade metodológica. Dessa forma, os resultados apontaram que a maioria
dos artigos analisados não aderiu aos critérios preconizados
pelo PRISMA, indicando relatos pouco completos e transparentes. Partindo de uma preocupação semelhante, Shütz,
Sant’Ana, e Santos (2011) buscaram verificar as políticas
editoriais, quantificar e classificar as revisões brasileiras produzidas na área da Educação Física. Os resultados apontaram
que a maioria dos artigos de revisão analisados era do tipo
narrativo, sendo os artigos de RS em menor número. Entretanto, independente se narrativo ou sistemático, observou-se
uma falta de normas editoriais formuladas especificamente
para artigos de revisão. Tal constatação poderia resultar
em queda na qualidade das publicações, visto que, muitas
vezes, os critérios de análise, principalmente das revisões
narrativas, são inexistentes.
Na Psicologia não foram encontrados estudos que avaliassem a qualidade do processo metodológico empregado nas
RS produzidas na área, tanto no Brasil como internacionalmente. Dessa forma, o objetivo desse estudo foi mensurar a
qualidade metodológica das revisões sistemáticas publicadas
em periódicos brasileiros de psicologia. Especificamente,

98

buscou-se avaliar diferenças quanto à qualidade dos artigos
entre as bases de dados PePSIC e SciELO e estratos diferentes
do Qualis da Coordenação de Aperfeiçoamento de Pessoal
de Nível Superior (CAPES), utilizando o instrumento Assessment of Multiple Systematic Reviews (AMSTAR).

Método
Trata-se de uma revisão sistemática de estudos de RS
publicados em periódicos brasileiros indexados da área de
psicologia.
Procedimento
Para identificar os estudos de revisão sistemática na
área da psicologia no contexto brasileiro, dois juízes independentes conduziram uma revisão sistemática nas bases
PePSIC (Periódicos eletrônicos em Psicologia) e SciELO
(Scientific Electronic Library Online) em setembro de 2012,
sem restrição de data. A base PePSIC engloba periódicos
pertencentes à Psicologia e áreas afins, com artigos completos
e de acesso gratuito. Já a base SciELO caracteriza-se como
uma biblioteca eletrônica composta por periódicos científicos do Brasil, da América Latina e do Caribe, sendo uma
base multidisciplinar. Possui textos completos e de acesso
gratuito. As bases de dados acima citadas foram escolhidas
por integrarem quase a totalidade da produção psicológica
indexada do país.
A busca nas bases foi realizada em todos os campos utilizando a string “revisão AND sistemática”. A seleção inicial
resultou em 61 artigos, conforme indicado na Figura 1. Os
resumos desses estudos foram analisados de acordo com os
seguintes critérios de inclusão: a) ser uma revisão sistemática (autodenominada); b) ser um artigo completo; c) estar
publicado em um periódico indexado na área da psicologia.
Todos os periódicos indexados no PePSIC foram considerados pertinentes, pois esta é uma base específica da área da
psicologia. Quanto ao SciELO, apenas os periódicos da área
ciências humanas foram incluídos, uma vez que os periódicos
da psicologia estão agrupados na base sob essa designação.
Doze artigos não atenderam aos critérios de inclusão.
Os 49 artigos restantes foram analisados de acordo com
os seguintes critérios de exclusão: a) periódico não ser brasileiro; b) periódico ser interdisciplinar ou sem foco na área
psicológica. O site de cada periódico foi consultado para que
se estabelecesse o seu foco de publicação. Dezesseis foram
excluídos por se enquadrarem nesses critérios. Dados os
critérios de inclusão e exclusão, 33 artigos foram identificados como relevantes. Não houve artigos duplicados entre
as bases. Os dados desses artigos foram extraídos em uma
planilha que incluía nome do estudo, ano de publicação, base
proveniente, periódico de publicação e seu respectivo estrato
de acordo com o Qualis CAPES 2012. Posteriormente, os
estudos selecionados foram analisados por dois juízes independentes quanto a sua qualidade utilizando o instrumento
Assessment of Multiple Systematic Reviews (AMSTAR)
(Shea, et al., 2007; Shea, et al., 2009).

Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

Qualidade das Revisões Sistemáticas de Psicologia

SciELO
N=35

PePSIC
N=26
Referências potencialmente
relevantes N=61

Bsuca nos resumos
N=49

Banco final
N=43

Removidos
Não atenderam aos
critérios de inclusão N=12
Removidos
Atenderam os critérios
de exclusão N=16

Figura 1: Estratégia de busca

Instrumento
AMSTAR é um instrumento de avaliação da qualidade de revisões sistemáticas. AMSTAR foi construído a
partir da análise e da atualização de outros instrumentos,
empiricamente validado, além de ser genérico, ou seja, se
presta a avaliar RS de todas as áreas (Shea et al., 2009).
Em sua primeira versão o instrumento possuía 37 itens e, a
partir de uma análise fatorial, 29 itens foram selecionados,
compreendendo 11 fatores. A versão final da escala foi
composta pelo item que mais carregou em cada fator. Os
itens compreendem requisitos mínimos de uma revisão sistemática: 1) O desenho da revisão foi apresentado a priori?
2) Havia duplicação na extração de dados e seleção dos
estudos? 3) Uma busca compreensiva nas bases de dados
foi realizada? 4) O status da publicação (por exemplo,
teses e dissertações, capítulos de livro, etc.) foi utilizado
como critério de inclusão? 5) Foi fornecida uma lista dos
estudos incluídos e excluídos? 6) Foram fornecidas as
características dos estudos incluídos? 7) A qualidade dos
estudos incluídos foi avaliada e documentada? 8) A qualidade dos estudos incluídos foi utilizada apropriadamente
nas conclusões? 9) Os métodos utilizados para agrupar os
achados dos estudos incluídos foram apropriados? 10) O
viés de publicação foi avaliado? 11) O conflito de interesse
foi descrito?
Para cada item do instrumento, há duas opções de resposta: a) “sim”, caso a revisão contemple explicitamente o
critério; b) “não”, caso não contemple. Para cada resposta
“sim”, aplica-se um ponto. (Faggion et al., 2012).
Análise dos dados
A avaliação dos artigos foi realizada por dois juízes independentes. Na comparação dos resultados, em caso de divergência, buscou-se o consenso. Foram realizadas estatísticas
descritivas analisando o número de publicações e a qualidade
dos artigos por ano de publicação, estrato, periódico, por item
do AMSTAR e base. A qualidade de cada artigo foi expressa
pela soma dos itens do instrumento. Foram realizados testes
t para estabelecer a diferença de qualidade entre as bases de

Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

dados e entre agrupamentos de estratos do Qualis (estratos
A e B) e para a diferença da qualidade por base (SciELO e
PePSIC). Além disso, foi realizado um test t para verificar
diferenças de qualidade por data de publicação (períodos
2001-2006 e 2007-2011). Consideraram-se significativas as
diferenças obtidas com p < 0,05.

Resultados
A qualidade média das RS revisadas foi de 5,39
(DP=1,91), com um intervalo de confiança de 95% entre 4,71
e 6,07. Dessa forma, pode-se afirmar que a qualidade das RS
publicadas em periódicos brasileiros da área da psicologia
é média considerando o escore máximo do instrumento (11
pontos), mesmo levando-se em consideração o intervalo de
confiança. A Tabela 1 exibe os resultados das análises por
itens. É possível perceber que nenhum dos itens obteve o
maior escore possível (33 pontos).
Embora haja uma tendência de crescimento no número
de publicações de RS em periódicos da psicologia, esta
não foi acompanhada por um incremento na qualidade (ver
Tabela 2). Uma análise comparando o período 2001-2006
com o período 2007-2011 mostrou não haver diferença estatisticamente significativa nas pontuações médias, t(29) =
0,77, p = 0,45. Nesta análise, optou-se por excluir o ano de
2012 por tratar-se de ano corrente, no qual ainda podem ser
publicadas outras revisões.
Por outro lado, verificou-se uma diferença significativa
entre as bases PePSIC, com média de 4,63 (DP=1,89), e
SciELO, com média de 6,12 (DP=1,69), quanto à qualidade
das RS publicadas, t(31) = 2,39, p = 0,023, d = 0,86. Uma
comparação da qualidade média das revisões publicadas em
periódicos A e B (conforme o Qualis CAPES) indicou existir
diferença entre os estratos em favor do estrato A, embora o
nível de significância observado seja um pouco superior ao
critério tradicional de 5%, mas ainda inferior a 10%, t(31)
= 1,81, p = 0,080 (Tabela 3). Uma análise do tamanho do
efeito mostrou que a diferença observada pode ser considerada moderada (d = 0,66), o que sugere que as revistas do
estrato A vêm publicando revisões de melhor qualidade do
que as do estrato B.

99

APC Zoltowski et al.
Tabela 1. Qualidade das RS por item do AMSTAR

Item

Descrição

Escore

%

Item 1

O desenho da revisão foi apresentado a priori?

31

93,9

Item 3

Uma busca compreensiva nas bases de dados foi realizada?

27

81,8

Item 6

Foram fornecidas as características dos estudos incluídos?

25

75,8

Item 4

O status da publicação (por exemplo, teses e dissertações, capítulos de livro, etc.) foi
utilizado como critério de inclusão?

22

66,7

Item 5

Foi fornecida uma lista dos estudos incluídos e excluídos?

19

57,6

Item 7

A qualidade dos estudos incluídos foi avaliada e documentada?

19

57,6

Item 8

A qualidade dos estudos incluídos foi utilizada apropriadamente nas conclusões?

12

36,4

Item 9

Os métodos utilizados para agrupar os achados dos estudos incluídos foram apropriados?

10

30,3

Item 11

O conflito de interesse foi descrito?

8

24,2

Item 10

O viés de publicação foi avaliado?

3

9,1

Item 2

Havia duplicação na extração de dados e seleção dos estudos?

2

6,1

Discussão
De forma geral, a qualidade das revisões sistemáticas
publicadas na área da Psicologia no Brasil foi avaliada como
média, sendo que nenhum periódico, assim como nenhum
estrato do Qualis, foi avaliado com a pontuação mais alta.
Tal avaliação pode ser vista como preocupante, visto que o
incremento da quantidade de RS publicadas não tem sido
acompanhado pelo aumento na sua qualidade metodológica. Mais preocupante ainda é averiguar que os itens do
AMSTAR, instrumento utilizado neste estudo, são requisitos
mínimos para a escrita de uma boa revisão sistemática.
Nenhum dos estudos revisados utilizou meta-análise
como forma de agrupamento dos resultados, uma vez que a
maioria das revisões retratou os resultados de forma narrativa.
Mais do que apenas descrever os resultados, é importante que
as futuras revisões sistemáticas utilizem formas mais robustas
de análise, como testes estatísticos, instrumentos ou técnicas
qualitativas consagradas na literatura (meta-análise, análises
Tabela 2: Qualidade média das revisões sistemáticas por ano de publicação

Ano

n

Qualidade média (dp)

2001

1

4

2003

1

4

2005

3

6 (1,73)

2006

2

7,5 (0,7)

2007

1

4

2008

4

5,25 (0,95)

2009

5

5,2 (2,16)

2010

7

4,14 (2,19)

2011

7

6,43 (1,98)

2012

2

6 (1,41)

100

de discurso e de conteúdo, etc). Além disso, apenas 57,6% dos
estudos levaram em consideração o poder dos delineamentos
na análise de dados. Nesse sentido, ressalta-se que em algumas RS o tipo de delineamento (transversal, experimental,
estudo de caso, etc.) foi confundido com pesquisa qualitativa
e quantitativa, indicando uma dificuldade conceitual sobre
metodologias de pesquisa.
Ao analisar a pontuação total por item do instrumento,
observa-se que os itens 2, 10 e 11 foram os que menos pontuaram. O item 2 descreve a necessidade da presença de, no
mínimo, dois juízes extratores dos dados, além da descrição
de um procedimento consensual em caso de discordância entre ambos. Este item coloca-se como de especial importância
no processo de realização de uma revisão sistemática, visto
que a presença de mais de um juiz busca minimizar o viés
da busca e da seleção dos estudos que farão parte do banco
de dados (Akobeng, 2005). Por sua vez, o item 10 aponta
para a avaliação do viés de publicação. Como há maior
probabilidade de submissão e publicação de estudos com
resultados estatisticamente significativos, em detrimento de
estudos sem resultados significativos, uma RS deve levar em
conta esse viés de publicação (Easterbook, Berlin, Gopalan,
& Mattews, 1991). Em especial no caso de meta-análise,
testes estatísticos ou gráficos podem ser utilizados para verificação desse viés. Em RS que relatam narrativamente os
resultados, deve-se atentar para esse viés antes de buscar a
generalização do resultado. Dessa forma, é importante que
os autores considerem não apenas a estratégia de busca e de
análise dos artigos, mas que avaliem criticamente sua revisão
e descrevam as limitações inerentes.
Por fim, dos itens menos pontuados, encontra-se o item
11, caracterizado pela descrição do conflito de interesses,
isto é, as fontes de financiamento e de suporte da pesquisa.
Financiamentos diretos ou indiretos (por exemplo, bolsas de
mestrado ou doutorado) devem ser apontados. Em estudos na
área da saúde, principalmente envolvendo pesquisas sobre
fármacos, a descrição do conflito de interesses é uma prática
já estabelecida. Goldin (2006) afirmou que é de fundamental
Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

Qualidade das Revisões Sistemáticas de Psicologia
Tabela 3. Qualidade média das RS por estrato do Qualis

A

Qualis

n

Qualidade média (dp)

A1

5

6,60(1,14)

A2

14

5,64(1.90)

19

5,89(1,76)

B1

5

3,80(2.16)

B2

8

5,50(1,69)

B4

1

3,00

14

4,71(1,98)

Total

B

Total

importância a clareza da relação entre pesquisadores, instituições de pesquisa, patrocinadores e órgãos reguladores, a
fim de analisar a adequação ética e metodológica dos estudos
para que não se perca a sua credibilidade científica.
Por outro lado, os itens mais citados relacionaram-se à
descrição clara da pergunta de pesquisa e dos critérios de
inclusão (item 1); a uma busca compreensiva nas bases de
dados, isto é, a utilização de, no mínimo, duas bases de dados, além da inclusão dos anos pesquisados, palavras-chave
e estratégia de busca (item 3); e à apresentação integrada
das características dos estudos incluídos, como em uma
tabela contendo informações como participantes, instrumentos, resultados etc. (item 6). No entanto, embora tenham
alcançado maior pontuação entre os estudos selecionados,
ressalta-se que muitos artigos não pontuaram nesses itens,
considerados essenciais.
Na análise entre as bases PePSIC e SciELO, encontraram-se diferenças significativas na qualidade das RS publicadas,
sendo que os artigos do SciELO demonstraram maior qualidade metodológica. Este resultado pode ser explicado pela
adoção de critérios mais rigorosos do SciELO3 para admissão e permanência dos periódicos científicos na biblioteca
do que a base PePSIC, levando à integração de periódicos
de maior qualidade. Até o momento, SciELO e PePSIC
organizam-se de forma diferenciada, sendo uma, seletiva
e a outra, inclusiva. Além disso, observa-se que todos os
periódicos que compuseram o banco de dados do SciELO
fazem parte dos estratos A1 e A2 do Qualis da CAPES. Em
conformidade com este resultado, verificou-se ainda uma
tendência de diferença na qualidade média das RS quando
foram comparados os estratos A e B das revistas. De acordo
com o que se esperaria, as publicações do estrato A apresentaram escores mais elevados do que as do estrato B. Embora
o nível de significância tenha sido um pouco acima do usual,
o tamanho do efeito sugere que os estratos apresentam alguma
diferenciação na qualidade das RS publicadas. Porém, deve-se considerar que a diferença pontual entre os estratos A e B
foi de apenas 1,2 pontos, o que não parece representar uma
distinção qualitativa marcante considerando-se que a escala
pode variar de 0 a 11 pontos. Ou seja, ainda que as revistas
do estrato A tendam a publicar RS de melhor qualidade do
que as do estrato B, tal diferença não chega a ser muito
expressiva, sendo que em ambos os casos a qualidade pode
3

http://www.scielo.br/avaliacao/criterio/scielo_brasil_pt.htm

Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

ser considerada no máximo razoável (em nenhum estrato a
média chegou a 6). Por um lado, esse resultado reflete a falta
de políticas editoriais claras para a publicação desse tipo
de estudo. Por outro, o baixo escore alcançado em ambos
os estratos, bem como a sua pequena diferenciação, pode
sugerir tanto que as revistas são, de maneira geral, de nível
equivalente, quanto que os critérios de classificação do Qualis
podem não ser suficientemente discriminativos.
Nesse sentido, é recomendável que o corpo editorial dos
periódicos integre às diretrizes de publicação dos artigos critérios mínimos para a realização de estudos de RS (Padula et
al., 2012). A falta de tais indicadores não é exclusividade de
estudos de revisão sistemática, já que a ausência de normas
tem sido verificada também em estudos de revisão narrativa
(Shütz et al., 2011). Dessa forma, parte-se do pressuposto
que os pesquisadores sabem a priori como realizar estudos
de revisão, o que leva a uma variabilidade na sua condução
e escrita. Aliado a isso, corre-se o risco de tanto editores
quanto pareceristas adotarem critérios subjetivos para avaliar
a qualidade dos manuscritos recebidos. A adoção de critérios
específicos e empiricamente válidos pode minimizar as dificuldades de escrita e de avaliação dos artigos.

Considerações finais
Sabe-se que a escrita de uma revisão sistemática envolve
muitos desafios, especialmente no campo da psicologia, uma
vez que nas ciências sociais e humanas não há uma tradição
(presente nas ciências biomédicas, das quais essa metodologia de pesquisa é derivada) nessa prática. Contudo, sua
importância é crucial, já que é uma ferramenta que auxilia
a organizar, analisar criticamente e sintetizar resultados
presentes na literatura, integrando o panorama da produção
científica em uma determinada área. Dessa forma, a partir
dos itens componentes do instrumento AMSTAR, sugere-se
os pontos a seguir a fim de fomentar a produção de um artigo
de revisão sistemática de qualidade:
a) Definição e clareza a priori da pergunta de pesquisa
e dos critérios de inclusão dos estudos;
b) Busca e extração dos artigos por, pelo menos, dois
juízes independentes. Informações sobre concordância
ou consenso devem ser fornecidas;
c) Utilização de, ao menos, duas fontes de dados (bases eletrônicas) e descrição da data da busca e das
palavras-chave;
d) Descrição dos critérios de inclusão e de exclusão, em
especial a opção por incluir ou não teses, dissertações,
capítulos de livro ou artigos de idiomas específicos;
e) Apresentação de uma lista (ou figura) indicando o
número de artigos incluídos, excluídos e os critérios
que foram levados em consideração;
f) Descrição das características dos estudos incluídos
(por exemplo, em uma tabela), como participantes, ano
de publicação, idade, sexo, desfechos, etc.;
g) Avaliação da qualidade dos estudos, ou seja, análise
do poder de delineamento, das limitações metodológicas etc.;
h) Levar em conta a qualidade dos estudos revistos ao
generalizar as conclusões;
101

APC Zoltowski et al.

i) Avaliação da viabilidade de se integrar estudos que,
por suas características metodológicas, podem não
ser comparáveis;
j) Utilização de alguma ferramenta (estatística ou narrativa) para análise dos dados;
k) Considerar os possíveis vieses na condução da RS e
da sua publicação;
l) Descrição explícita dos possíveis conflitos de interesses;
m) Utilização no resumo de palavras-chave indexadas em
Thesaurus para facilitar a difusão e localização da RS.
Por fim, é necessário ponderar sobre algumas das limitações deste estudo. A busca pelas RS restringiu-se a duas bases
de dados, além de focar em periódicos específicos da psicologia. Sabe-se que nem todas as RS produzidas no âmbito da
psicologia encontram-se em periódicos exclusivos da área;
sendo assim, estudos potencialmente relevantes não fizeram
parte da amostra avaliada. Nesse sentido, mesmo que tenham
sido pesquisadas “revisão” e “sistemática” como palavras-chave em todos os campos, é possível que RS não tenham
sido encontradas, visto que nem sempre esta informação está
explicitamente colocada no texto e no resumo. Além do mais,
a quantidade de artigos analisados foi relativamente baixa,
dificultando o uso de testes estatísticos mais sofisticados.
Contudo, foi possível descrever o panorama das revisões
sistemáticas em psicologia no país através de uma amostra
considerada representativa, possibilitando que se discuta a
emergência de indicadores de escrita e de avaliação para esse
tipo de publicação.

Referências
Akobeng, A. K. (2005). Understanding systematic reviews and
meta-analysis. Archives of Disease in Childhood, 90, 845-848.
http://dx.doi:10.1136/adc.2004.058230
Alderson, P., & Higgins, J. (2004). Cochrane Reviewers’ Handbook
4.2.2. Chichester, UK: John Wiley & Sons, Inc.
Berwanger, O., Suzumura, E.A., Buehler, A. M., & Oliveira, J.
B. (2007). Como avaliar criticamente revisões sistemáticas
e metanálises? Revista Brasileira de Terapia Intensiva,
19(4),475-480.
Easterbrook, P. J., Berlin, J. A., Gopalan, R., & Matthews, D. R.
(1991). Publication bias in clinical research. Lancet, 337, 867872. http://dx.doi.org/10.1016/0140-6736(91)90201-Y
Faggion, C. M., Listl, S., & Giannakopoulos, N. N. (2012). The
methodological quality of systematic reviews of animal studies
in dentistry. The Veterinary Journal, 48, 140-147. http://dx.doi.
org/10.1016/j.tvjl.2011.08.006
Fernández-Ríos, L., & Buela-Casal, G. (2009). Standards for
the preparation and writing of Psychology review articles.
International Journal of Clinical and Health Psychology, 9,
329-344.
Galvão, C. M., Sawada, N. O., & Trevizan, M. A. (2004). Revisão
sistemática: recurso que proporciona a incorporação das
evidências na prática da enfermagem. Revista Latinoamericana de Enfermagem, 12(3), 549-556. http://dx.doi.
org/10.1590/S0104-11692010000400023

102

Goldin, J. R. (2006). Conflitos de interesse e suas repercussões na
ciência. Revista Brasileira de Psiquiatria, 28(1), 3-4. http://
dx.doi.org/10.1590/S1516-44462006000100002
Jagannath, V., Mathew, J. L., Asokan, G. V., & Fedorowicz, Z.
(2011). Quality assessment of systematic reviews of health care
interventions using AMSTAR. Indian Pediatrics, 48, 383-385.
http://dx.doi.org/10.1007/s13312-011-0080-3
Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gotzsche, P.
C., Ioannidis, J. P. A., & Moher, D. (2009). The PRISMA
statement for reporting systematic reviews and meta-analyses
of studies that evaluate health care interventions: explanation
and elaboration. PLOS Medicine, 6(7), e1000100. http://dx.doi.
org/10.1136/bmj.b2700
Littell, J. H., Corcoran, J., & Pillai, V. (2008). Systematic reviews
and meta-analysis. New York: Oxford University Press.
MacDonald, S. L., Canfield, S. E., Fesperman, S. F., & Dahm, P.
(2010). Assessment of methodological quality of systematic
reviews published in the urological literature from 1998 to
2008. The Journal of Urology, 184, 648-653. http://dx.doi.org
/10.1016/j.juro.2010.03.12
Padula, R. S., Pires, R. S., Alouche, S. R., Chiavegato, L. D., Lopes,
A. D., & Costa, L. O. P. (2012). Análise da apresentação textual
de revisões sistemáticas em fisioterapia publicadas no idioma
português. Revista Brasileira de Fisioterapia, 16(4), 281-288.
http://dx.doi.org/10.1590/S1413-35552012005000040
Papageorgiou, S., Papadopoulos, M., & Athanasiou, A. (2011).
Evaluation of methodology and quality characteristics
of systematic reviews in orthodontics. Orthodontics
& Craniofacial Research, 14, 116-137. http://dx.doi:
10.1111/j.1601-6343.2011.01522.x
Sampaio, R. F., & Mancini, M. C. (2007). Estudos de revisão
sistemática: um guia para síntese criteriosa da evidência
científica. Revista Brasileira de Fisioterapia, 11(1), 83-89.
http://dx.doi.org/10.1590/S0104-11692004000300014
Schutz, G., Sant’ana, A., & Santos, S. (2011). Política de
periódicos nacionais em Educação Física para estudos de
revisão/sistemática. Revista Brasileira de Cineantropometria
& Desempenho Humano, 13, 313-319. http://dx.doi.
org/10.5007/1980-0037.2011v13n4p313
Shea, B. J., Grimshaw, J. M., Wells, G. A., Boers, M., Andersson,
N., Hamel, C., … Bouter, L. M. (2007). Development of
AMSTAR: a measurement tool to assess the methodological
quality of systematic reviews. BMC Medical Research
Methodology, 7(10). http://dx.doi.org/10.1186/1471-2288-7-10
Shea, B. J., Hamel, C., Wells, G. A., Bouter, L. M., Kristjansson, E.,
Grimshaw, J., … Boers, M. (2009). AMSTAR is a reliable and
valid measurement tool to assess the methodological quality
of systematic reviews. Journal of Clinical Epidemiology, 62,
1013-1020. http://dx.doi.org/ 10.1016/j.jclinepi.2008.10.009

Recebido em 29.12.2012
Primeira decisão editorial em 24.07.2013
Versão final em 20.08.2013
Aceito em 08.10.2013 n

Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

Qualidade das Revisões Sistemáticas de Psicologia

Apêndice: Referências revisadas
Aliane, P. P., Mamede, M. V., & Furtado, E. F. (2011). Revisão
sistemática sobre fatores de risco associados à depressão pósparto. Psicologia em Pesquisa, 5(2), 146-155.
Andrade, T. M. R., & Argimon, I. I. L. (2008). Sintomas
depressivos e uso de Cannabis em adolescentes. Psicologia
em Estudo, 13(3), 567-573. http://dx.doi.org/10.1590/S141373722008000300018
Baptista, M. N., Rueda, F. J. M., Castro, N. R., Gomes, J. O., & Silva,
M. A. (2011). Análise de artigos sobre avaliação psicológica
no contexto do trabalho: revisão sistemática. Psicologia em
Pesquisa, 5(2), 156-167.
Barbosa, G. C., Melchiori, L. E., & Neme, C. M. B. (2011). Morte,
família e a compreensão fenomenológica: revisão sistemática
de literatura. Psicologia em Revista (Belo Horizonte), 17(3),
363-377.
Burato, K. R. S., Crippa, J. A. S., & Loureiro, S. R. (2009).
Transtorno de ansiedade social e comportamentos de evitação
e de segurança: uma revisão sistemática. Estudos de Psicologia
(Natal), 14(2), 167-174. http://dx.doi.org/10.1590/S1413294X2009000200010
Calvoso, G. G., Calvoso Junior, R., Reis, A. O. A., & Aldrighi, J. M.
(2008). Prevalência de sintomas depressivos na perimenopausa.
Revista Brasileira de Crescimento e Desenvolvimento Humano,
18(3), 339-345.
Cia, F., Williams, L. C. A., & Aiello, A. L. R. (2005). Influências
paternas no desenvolvimento infantil: revisão da literatura.
Psicologia Escolar e Educacional, 9(2), 225-233.
Coronel, M. K., & Werlang, B. S. G. (2010). Resolução de
problemas e tentativa de suicídio: revisão sistemática. Revista
Brasileira de Terapias Cognitivas, 6(2), 58-79.
Dias, A. M. (2010). Modelos e análises computacionais em
neurociências: revisão sistemática. Estudos e Pesquisas em
Psicologia, 10(2), 530-552.
Dias, A. M. (2010). Tendências do neurofeedback em psicologia:
revisão sistemática. Psicologia em Estudo, 15(4), 811-820.
http://dx.doi.org/10.1590/S1413-73722010000400017
Dias, A. M. (2010). Tendências em arquiteturas cognitivas. Arquivos
Brasileiros de Psicologia, 62(1), 35-48.
Duarte, A. L. C., Nunes, M. L. T., & Kristensen, C. H. (2008).
Esquemas desadaptativos: revisão sistemática qualitativa.
Revista Brasileira de Terapias Cognitivas, 4(1).
Fávero, M. A. B., & Santos, M. A. (2005). Autismo infantil e estresse
familiar: uma revisão sistemática da literatura. Psicologia:
Reflexão e Crítica, 18(3), 358-369. http://dx.doi.org/10.1590/
S0102-79722005000300010
Freire, S. D., & Oliveira, M. S. (2011). Auto-eficácia para
abstinência e tentação para uso de drogas ilícitas: uma revisão
sistemática. Psicologia: Teoria e Pesquisa, 27(4), 527-536.
http://dx.doi.org/10.1590/S0102-37722011000400018
Gross, C., & Teodoro, M. L. M. (2009). A cobrança dos honorários
na prática clínica por psicoterapeutas: uma revisão de literatura.
Aletheia, 29, 117-128.
Henn, C. G., & Sifuentes, M. (2012). Paternidade no contexto
das necessidades especiais: revisão sistemática da literatura.
Paidéia (Ribeirão Preto), 22(51), 131-139. http://dx.doi.
org/10.1590/S0103-863X2012000100015

Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104

Klein, V. C., & Linhares, M. B. M. (2006). Prematuridade e interação
mãe-criança: revisão sistemática da literatura. Psicologia em
Estudo, 11(2), 277-284. http://dx.doi.org/10.1590/S141373722006000200006
Klein, V. C., & Linhares, M. B. M. (2010). Temperamento e
desenvolvimento da criança: revisão sistemática da literatura.
Psicologia em Estudo, 15(4), 821-829. http://dx.doi.
org/10.1590/S1413-73722010000400018
Kohlsdorf, M. (2010). Aspectos psicossociais no câncer pediátrico:
estudo sobre literatura brasileira publicada entre 2000 e 2009.
Psicologia em Revista (Belo Horizonte), 16(2), 271-294.
Lago, V. M., Amaral, C. E. S., Bosa, C. A., & Bandeira, D. R.
(2010). Instrumentos que avaliam a relação entre pais e filhos.
Revista Brasileira de Crescimento e Desenvolvimento Humano,
20(2), 330-341.
Levandowski, D. C. (2001). Paternidade na adolescência: uma
breve revisão da literatura internacional. Estudos de Psicologia
(Natal), 6(2), 195-209. http://dx.doi.org/10.1590/S1413294X2001000200007
Munhoz, I. M. S., & Melo-Silva, L. L. (2011). Educação para
a Carreira: concepções, desenvolvimento e possibilidades
no contexto brasileiro. Revista Brasileira de Orientação
Profissional, 12(1), 37-48.
Murta, S. G. (2005). Programas de manejo de estresse ocupacional:
uma revisão sistemática da literatura. Revista Brasileira de
Terapia Comportamental e Cognitiva, 7(2), 159-177.
Nunes, S. A. N., Faraco, A. M., & Vieira, M. L. (2012). Correlatos
e consequências do retraimento social na infância. Arquivos
Brasileiros de Psicologia, 64(1), 122-138.
Paiva, F. S., & Ronzani, T. M. (2009). Estilos parentais e consumo
de drogas entre adolescentes: revisão sistemática. Psicologia
em Estudo, 14(1), 177-183. http://dx.doi.org/10.1590/S141373722009000100021
Peres, R. S., & Santos, M. A. (2006). Relações entre a personalidade
dos pacientes e a sobrevivência após o transplante de medula
óssea: revisão da literatura. Psicologia em Estudo, 11(2), 341349. http://dx.doi.org/10.1590/S1413-73722006000200013
Peres, R. S., & Santos, M. A. (2009). Personalidade e câncer de
mama: produção científica em Psico-Oncologia. Psicologia:
Teoria e Pesquisa, 25(4), 611-620. http://dx.doi.org/10.1590/
S0102-37722009000400017
Pimentel, D., Araujo, M. G., & Vieira, M. J. (2009). Final de análise:
uma revisão sistemática da literatura. Estudos de Psicanálise,
32, 51-70.
Ribas Jr., R. C., Moura, M. L. S., Soares, I. D., Gomes, A. A.
N., & Bornstein, M. H. (2003). Socioeconomic status in
Brazilian psychological research: I. validity, measurement,
and application. Estudos de Psicologia (Natal), 8(3), 375-383.
http://dx.doi.org/10.1590/S1413-294X2003000300004
Santos, M. M. R., & Araujo, T. C. C. F. (2008). Estudos e pesquisas
sobre a intersexualidade: uma análise sistemática da literatura
especializada. Psicologia: Reflexão e Crítica, 21(2), 267-274.
http://dx.doi.org/10.1590/S0102-79722008000200012
Saraiva, L. A., & Nunes, M. L. T. (2007). A supervisão na formação
do analista e do psicoterapeuta psicanalítico. Estudos de
Psicologia (Natal), 12(3), 259-268. http://dx.doi.org/10.1590/
S1413-294X2007000300008

103

APC Zoltowski et al.

Silveira, P. S., Martins, L. F., Soares, R. G., Gomide, H. P., &
Ronzani, T. M. (2011). Revisão sistemática da literatura
sobre estigma social e alcoolismo. Estudos de Psicologia
(Natal), 16(2), 131-138. http://dx.doi.org/10.1590/S1413294X2011000200003

Soares, R. G., Nery, F. C., Silveira, P. S., Noto, A. R., & Ronzani,
T. M. (2011). A mensuração do estigma internalizado: revisão
sistemática da literatura. Psicologia em Estudo, 16(4), 635-645.
http://dx.doi.org/10.1590/S1413-73722011000400014

7ª Jornada Lacan na IPA
São Paulo, SP, BR
09 e 10 de Maio de 2014

104

Psic.: Teor. e Pesq., Brasília, Jan-Mar 2014, Vol. 30 n. 1, pp. 97-104