Article Brapci-Autoridades

Citações e indicadores de impacto na avaliação de revistas

Citation and impact indicators for journal evaluation

Sônia Elisa Caregnato
Samile Andréa de Souza Vanz

The paper presents a literature review on the use of citations for journal evaluation. Considering that Brazilian CAPES iscurrently in the process of reformulating its evaluation policies and instruments and that numerous criticisms of Qualishave been made by researchers and managers over the years, we aim to discuss journal evaluation considering the role ofcitations in scientific practice and the bibliometric indicators derived from them, especially Impact Factor, CiteScore and hIndex from Google. The origins and methodology employed to calculate the three indicators are presented, in addition to theformula used by CAPES for journals evaluation. It concludes that citation indicators for science evaluation are supported byconcepts and methodologies about citation practices developed over the years, but that they should be employed carefullyand consciously. Keywords: Journal evaluation. Citation. Impact indicators. Qualis.@en

Este artigo apresenta uma revisão de literatura sobre o uso de citações para avaliação de revistas científicas. Considerandoque a CAPES, atualmente, está em processo de reformulação das suas políticas e instrumentos de avaliação e queinúmeras críticas ao Qualis têm sido feitas por pesquisadores e gestores, este artigo tem por objetivo discutir a avaliaçãode periódicos científicos à luz das concepções do papel das citações na atividade científica e dos indicadores bibliométricosdelas derivados, especialmente Fator de Impacto, CiteScore e Índice h do Google. Apresenta-se o histórico e metodologiautilizada para cálculo dos três indicadores, além da fórmula utilizada pela CAPES para utilização dos mesmos na avaliaçãodas revistas. Conclui que os indicadores de citação usados internacionalmente para avaliação de revistas possuem amparoem teorias e metodologias desenvolvidas há anos, mas que eles precisam ser empregados com cuidado e conhecimento. Palavras-chave: Avaliação. Revistas científicas. Citações. Indicadores de impacto. Qualis.@pt

. Citation and impact indicators for journal evaluation citações e indicadores de impacto na avaliação de revistas. Informação & sociedade: estudos, [????].

References

  • ABRAMO, G. Revisiting the scientometric conceptualization of impact and its measurement. Journal of Informetrics, v. 12, n.3, p. 590-597, 2018. DOI: 10.1016/j.joi.2018.05.001
  • AKSNES, D. W.., LANGFELDT, L.., WOUTERS, P. Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories. SAGE Open, v. 9, n.1, p. 1-17, 2019. DOI : 10.1177/2158244019829575
  • ALPERIN, J.P., GOMEZ, C. J., HAUSTEIN, S. Identifying diffusion patterns of research articles on Twitter: a case study of online engagement with open access articles. Public Understanding of Science, v. 28, n.1, p. 2-18, 2019. DOI:10.1177/0963662518761733
  • BALDWIN, Melinda. Scientific Autonomy, Public Accountability, and the Rise of “Peer Review” in the Cold War United States. Isis: a Journal of the History of Science Society, v. 109, n. 3, p. 538–58, 2018.
  • BARATA, Rita de Cássia Barradas. Dez coisas que você deveria saber sobre o Qualis. RBPG, Brasília, v. 13, n. 30, p. 13 - 40, jan./abr. 2016.
  • BARNES, Cameron. The Use of Altmetrics as a Tool for Measuring Research Impact. Australian Academic and Research Libraries, v. 46, n.2, p. 121-134, 2015. DOI: 0.1080/00048623.2014.1003174
  • BOLLEN, J.., RODRIQUEZ, M.., VAN DE SOMPEL, H. Journal status. Scientometrics, v.69, n.3, p. 669– 687, 2006. DOI: 10.1007/s11192-006-0176-z
  • BORNMANN, Lutz. Scientific Revolution in Scientometrics: The Broadening of Impact from Citation to Societal. In: SUGIMOTO, C. R. (Ed.) Theories of Informetrics and Scholarly Communication. Berlin: Degruyter, 2016. p. 357-359.
  • BORNMANN, L.., DANIEL, H.-D. What do citation counts measure? a review of studies on citing behavior. Journal of Documentation, v. 64, n. 1, p. 45-79, 2008.
  • BUSH, Vannevar. Science The Endless Frontier: a Report to the President by Vannevar Bush, Director of the Office of Scientific Research and Development, July 1945. Washington, United States Government Printing Office, 1945. Disponível em: https://www.nsf.gov/od/lpa/nsf50/vbush1945.htm
  • CLARIVATE ANALYTICS. Clarivate Analytics Impact Factor. 2020. Disponível em: https://clarivate. com/essays/impact-factor/. Acesso em: 25 ago. 2020.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Oficio nº 5/2019-CGAP/ DAV/CAPES. 9 de maio de 2019. Disponível em: http://uploads.capes.gov.br/files/oficio_qualis_ referencia.pdf. Acesso em: 25 de ago. 2020.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Portaria nº 150, de 4 de julho de 2018. Disponível em: https://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/ content/id/28988995/do2-2018-07-06-portaria-n-150-de-4-de-julho-de-2018-28988986 . Acesso em: 25 ago. 2020.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. CAPES melhora ferramentas de avaliação da pós-graduação. Disponível em: https://www.capes.gov.br/36noticias/9730-capes-melhora-ferramentas-de-avaliacao-da-pos-%20graduacao . Acesso em: 25 ago. 2020.
  • COSTA, Ana Ludmila Freire., YAMAMOTO, Oswaldo Hajime. Publicação e avaliação de periódicos científicos: paradoxos da avaliação Qualis de Psicologia. Psicologia em Estudo, Maringá, v. 13, n. 1, p. 13-24, jan./mar. 2008.
  • CRONIN, Blaise. The citation process: the role and significance of citations in scientific communication. London: Taylor Graham, 1984.
  • CROZARIOL, Marco Aurélio. Os prejuízos científicos causados pela utilização da classificação Qualis/CAPES para avaliar o desempenho do pesquisador. Informativo da Sociedade Brasileira de Zoologia, jun./jul. 2018, p. 5-6.
  • DAVIS, P. M. Reward or persuasion?: The battle to define the meaning of a citation. Learned Publishing, v. 22, p. 5-11, 2009.
  • DELGADO LÓPEZ CÓZAR, Emilio. El Ranking de revistas científicas españolas con Sello de calidad Fecyt: un constructo bibliométrico artificioso y obsoleto. Anuario ThinkEPI, Barcelona, v. 14, 2020.
  • DING, Y., CRONIN, B. Popular and/or prestigious? Measures of scholarly esteem. Information Processing and Management, v. 47, n. 1, p. 80-96, 2011.
  • ELSEVIER. CiteScore. Disponível em: https://service-elseviercom.ez1.periodicos.capes.gov.br/app/ answers/detail/a_id/14880/supporthub/scopus/ . Acesso em: 18 jun. 2019
  • FREIRE, H. de A.., FREIRE, I. M. Novo Qualis de periódicos da Capes. Informação and Sociedade, João Pessoa, v. 29, n. 4, 2019.
  • GARFIELD, Eugene. Citation Indexes for Science: a new dimension in documentation through association of ideas. Science, 1955, v. 122, p. 108-111.
  • GOOGLE. Google H5 Index. Disponível em: https://scholar.google.com/citations?view_op=top_ venues and hl=en and vq=en . Acesso em: 18 jun. 2019.
  • HICKS, D. et al. The Leiden Manifesto for research metrics. Nature, v. 520, p. 429-431, 2015. Disponível em: http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/leiden-manifestoportuguese-br-final.pdf . Acesso em: 24 set. 2020.
  • JAMES, C. et al. CiteScore metrics: Creating journal metrics from the Scopus citation index. Learned Publishing, v. 32, n. 4, p. 367–374, 2019. DOI: https://doi.org/10.1002/leap.1246.
  • LANE, Julia. Let’s make science metrics more scientific. Nature, v. 464, 25 March 2010.
  • LEYDESDORFF, L. Evaluation of Research and Evolution of Science Indicators. Current Science, v. 89, n. 9, p. 1510-517, 2005. Disponível em: http://www.jstor.org/stable/24110916. Acesso em: 18 jul.
  • MUELLER, S. P. M. A comunicação científica e o movimento de acesso livre ao conhecimento. Ciência da Informação, Brasília, DF, v. 35, n. 2, p. 27-38, maio/ago. 2006. Disponível em: . Acesso em: 08 maio 2020.
  • MARTÍNEZ-ÁVILA, D. Qualis Periódicos: el sistema brasileño de evaluación de revistas. Anuario ThinkEPI, Barcelona, v. 13, 2019.
  • MINASNY, Budiman et al. Citations and the h index of soil researchers and journals in the Web of Science, Scopus, and Google Scholar. PEERJ, v.‫ ‏‬1, n. e183, 2013. Disponível em: https://peerj.com/ articles/183.pdf. Acesso em: 12 jul. 2020.
  • MOED, Henk F. Applied Evaluative Informetrics. Cham (Switzerland): Springer International Publishing, 2017.
  • PRIEM, J.., HEMMINGER, B.M. Scientometrics 2.0: Toward new metrics of scholarly impact on the social Web. First Monday, v. 15, n. 7, p. 2010. Disponível em: from: https://firstmonday.org/article/ view/2874/2570. Acesso em: 11 set. 2020.
  • REATEGUI, Eliseo et al. Evaluation of Brazilian research output in education: confronting international and national contexts. Scientometrics, v. 125, 2020, p. 427-444.
  • SILVEIRA, M. A. da., CAREGNATO, S. E. Demarcações epistemológicas dos estudos de citação: concepção sociocultural das citações. Perspectivas em Ciência da Informação, v. 23, n. 1, p. 55-70, 2018. Disponível em: http://portaldeperiodicos.eci.ufmg.br/ index.php/pci/article/view/3125. Acesso em: 07 out. 2020.
  • SPIER, R. The history of the peer-review process. Trends in Biotechnology, v. 20, n. 8, p. 357-358, 2002.
  • VANZ, S. A. S.., CAREGNATO, S. E. Estudos de Citação: uma ferramenta para entender a comunicação científica. Em Questão, Porto Alegre, v. 9, n. 2, p. 247-259, 2003. Disponível em: . Acesso em: 16 jan. 2018.
  • VOGEL, Michely Jabala Mamede. Uso de indicadores bibliométricos na avaliação da CAPES: o Qualis periódicos. XVIII Encontro Nacional de Pesquisa em Ciência da Informação 2017. Marília.
  • VAN NOORDEN, Richard. Brazilian citation scheme outed: Thomson Reuters suspends journals from its rankings for ‘citation stacking’. Nature, v. 500, 29 Ago. 2013.
  • WALTMAN, L. A review of the literature on citation impact indicators. Journal of Informetrics, v. 10, p. 365-391, 2016. DOI:10.1016/j.joi.2016.02.007
  • WOUTERS, P. et al. The metric tide: Literature review (Supplementary Report I to the Independent Review of the Role of Metrics in Research Assessment and Management). Bristol, HEFCE, 2015. DOI: 10.13140/RG.2.1.5066.3520
  • WOUTERS, Paul et. al. Bibliometrics and the use of citation indicators in research assessment: a review. 2014.
NLP0.29
Visto 14 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2021-01-25] => 155575
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Sônia Elisa Caregnato] => 35607
                        )

                    [1] => Array
                        (
                            [Samile Andréa de Souza Vanz] => 8956
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/326/2021/01/oai_periodicos_ufpb_br_article_57345#00019.pdf] => 155609
                        )

                )

        )

    [hasPageEnd] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [18] => 1507
                        )

                )

        )

    [hasPageStart] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [1] => 696
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Artigo de revisão] => 98
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & sociedade: estudos] => 326
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00019-2020-30-4] => 153128
                        )

                )

        )

    [hasAbstract] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [The paper presents a literature review on the use of citations for journal evaluation. Considering that Brazilian CAPES iscurrently in the process of reformulating its evaluation policies and instruments and that numerous criticisms of Qualishave been made by researchers and managers over the years, we aim to discuss journal evaluation considering the role ofcitations in scientific practice and the bibliometric indicators derived from them, especially Impact Factor, CiteScore and hIndex from Google. The origins and methodology employed to calculate the three indicators are presented, in addition to theformula used by CAPES for journals evaluation. It concludes that citation indicators for science evaluation are supported byconcepts and methodologies about citation practices developed over the years, but that they should be employed carefullyand consciously.
Keywords: Journal evaluation. Citation. Impact indicators. Qualis.] => 0
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [Este artigo apresenta uma revisão de literatura sobre o uso de citações para avaliação de revistas científicas. Considerandoque a CAPES, atualmente, está em processo de reformulação das suas políticas e instrumentos de avaliação e queinúmeras críticas ao Qualis têm sido feitas por pesquisadores e gestores, este artigo tem por objetivo discutir a avaliaçãode periódicos científicos à luz das concepções do papel das citações na atividade científica e dos indicadores bibliométricosdelas derivados, especialmente Fator de Impacto, CiteScore e Índice h do Google. Apresenta-se o histórico e metodologiautilizada para cálculo dos três indicadores, além da fórmula utilizada pela CAPES para utilização dos mesmos na avaliaçãodas revistas. Conclui que os indicadores de citação usados internacionalmente para avaliação de revistas possuem amparoem teorias e metodologias desenvolvidas há anos, mas que eles precisam ser empregados com cuidado e conhecimento.
Palavras-chave: Avaliação. Revistas científicas. Citações. Indicadores de impacto. Qualis.] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:periodicos.ufpb.br:article/57345] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/57345] => 0
                        )

                    [1] => Array
                        (
                            [10.22478/ufpb.1809-4783.2020v30n4.57345] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & Sociedade: Estudos; v. 30 n. 4 (2020); 1-18] => 0
                        )

                    [1] => Array
                        (
                            [1809-4783] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [0104-0146] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [Citation and impact indicators for journal evaluation] => 0
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [Citações e indicadores de impacto na avaliação de revistas] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/57345/32707] => 0
                        )

                    [1] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/57345/32708] => 0
                        )

                    [2] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/57345/32709] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [oai:periodicos.ufpb.br:article/57345#00019] => 0
                        )

                )

        )

    [hasSubject] => Array
        (
            [pt] => Array
                (
                )

        )

)