Article Brapci-Revistas

Google Scholar Metrics e a proposta do novo Qualis: impacto dos periódicos brasileiros de Ciência da Informação

Heloisa Costa
Fabio Lorensi do Canto
Adilson Luiz Pinto

The present work measures the impact of Brazilian Information Science journals using the methodology proposed by the new Qualis. It analyses the journals in the “Revistas Brasileiras” collection of the Information Science Database (BRAPCI), which were designated to the area 31 of Qualis in 2016 and which had their classification published in the Qualis’ preliminary list in 2019. The FI (JCR), the CiteScore (SJR) and the h5 Index (GSM) of the indexed journals were identified. The Publish or Perish software was used to calculate the h5 index of the non-indexed journals, as well as to collect citation data of articles published in the last five years. The data received a treatment for the elimination of duplicate records and non-citable documents. The average number of citations per article, the standard deviation, the number of citations received by the most cited article and the percentage of articles without citation were calculated. The results suggest that, although most journals have increased their level of classification, the proposal for the new Qualis methodology did not favor Brazilian Information Science, considering the non-permanence of publications in A1 stratum. On the other hand, the adoption of the GSM h5 index for the evaluation of journals without FI or CiteScore is positive. It was also found that the preliminary Qualis classification (2019) presents inconsistencies, considering the classification of similar h5 index journals in different strata. Finally, it was found that the use of Publish or Perish software implies the need for data treatment, considering the various errors presented.@en

O presente trabalho mensura o impacto dos periódicos brasileiros de Ciência da Informação a partir da metodologia proposta pelo novo Qualis. Foram analisados os periódicos da coleção “Revistas Brasileiras” da Base de Dados de Ciência da Informação (BRAPCI) avaliados na área 31 do Qualis de 2016 e com classificação divulgada na lista prévia do Qualis em 2019. Foram identificados o FI (JCR), o CiteScore (SJR) e o Índice h5 (GSM) dos periódicos indexados. Utilizou-se o software Publish or Perish para cálculo do índice h5 dos periódicos não indexados, bem como para coleta dos dados de citação dos artigos publicados nos últimos cinco anos. Os dados receberam tratamento visando a eliminação de registros duplicados e documentos não citáveis. Foram calculadas a média de citações por artigo, o desvio padrão, o número de citações recebidas pelo artigo mais citado e o percentual de artigos sem citação. Os resultados sugerem que, embora a maioria de periódicos tenha aumentado seu nível de classificação, a proposta da nova metodologia Qualis não favoreceu a Ciência da Informação brasileira, considerando a não permanência de publicações no estrato A1. Por outro lado, aponta-se como positiva a adoção do índice h5 do GSM para a avaliação de periódicos sem FI ou CiteScore. Constatou-se ainda que a classificação preliminar do Qualis (2019) apresenta incongruências, tendo em vista a classificação de periódicos de índice h5 semelhantes em estratos diferentes. Por fim, verificou-se que o uso do software Publish or Perish implica na necessidade de tratamento dos dados, considerando os diversos erros apresentados.@pt

. Google scholar metrics e a proposta do novo qualis: impacto dos periódicos brasileiros de ciência da informação. Informação & sociedade: estudos, [????].

References

  • ABRASCO. Fórum de Coordenadores de Pós-Graduação em Saúde Coletiva. Apreciação da proposta de Qualis periódico referência. Disponível em: https://www.abrasco.org.br/site/ coordenadoresdepos/wp- content/uploads/sites/2/ 2019/08/Carta-ABRASCO-sobre-Proposta-QualisReferencia.pdf. Acesso em: 20 jan. 2020.
  • CLARIVATE ANALYTICS. Web of Science Core Collection: Emerging Sources Citation Index. 2017. Disponível em: http://wokinfo.com/media/pdf/ESCI_Fact_Sheet.pdf. Acesso em: 20 jan. 2020.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Aprimoramento do processo de avaliação da pós-graduação: esclarecimentos a respeito do Qualis Periódico e avaliação da produção intelectual. jul. 2019. 2019c. Disponível em: https://www.capes. gov.br/images/novo_portal/documentos/DAV/avaliacao/18072019_Esclarecimentos_Qualis2.pdf. Acesso em: 21 nov. 2019.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Infográfico: processo de avaliação da pós-graduação é aprimorado, jul. 2019. 2019b. Disponível em: https://www. capes.gov.br/36-noticias/9731-processo-de-avaliacao-da-pos-graduacao-e-aprimorado. Acesso em: 21 nov. 2019.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). História e missão, 24 set. 2019. 2019a. Disponível em: https://www.capes.gov.br/historia-e-missao. Acesso em: 22 nov. 2019
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Qualis Periódicos e classificação de produção intelectual. Avaliação, Instrumentos de apoio, jul. 2019. Disponível em: https://www.capes.gov.br/avaliacao/instrumentos-de-apoio/qualis-periodicos-eclassificacao-de-producao-intelectual. Acesso em: 21 nov. 2019.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Relatório do Qualis Periódicos: Área 31: COMUNICAÇÃO E INFORMAÇÃO. 2019d. Disponível em: https://www. capes.gov.br/images/Relatorio_qualis_periodicos_referencia_2019/Relatorio_qualis_comunicacao_ informacao.pdf. Acesso em: 23 nov. 2019.
  • COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Tabela de Áreas de Conhecimento/Avaliação, 21 mar. 2018. Disponível em: https://www.capes.gov.br/ avaliacao/instrumentos-de-apoio/tabela-de-areas-do-conhecimento-avaliacao. Acesso em: 22 nov. 2019.
  • CUETO, M. A história das ciências e o Qualis Periódicos. Hist. cienc. saude-Manguinhos, Rio de Janeiro , v. 26, n. 4, p. 1083-1084, dez. 2019. Disponível em: http://www.scielo.br/scielo. php?script=sci_arttext and pid=S0104-59702019000401083 and lng=pt and nrm=iso. Acesso em: 28 jan. 2020.
  • ELSEVIER. Scopus. 2019. Disponível em: https://www.elsevier.com/pt-br/solutions/scopus. Acesso em: 21 nov. 2019.
  • FERRER-SAPENA, A. et al. The Impact Factor as a measuring tool of the prestige of the journals in research assessment in mathematics. Research Evaluation, v. 25, n. 3, p. 306–314, 2016. DOI 10.1093/reseval/rvv041.
  • HARZING, A. A preliminary test of Google Scholar as a source for citation data: a longitudinal study of Nobel prize winners. Scientometrics, v. 94, n. 3, p. 1057–1075, 2013. DOI DOI 10.1007/s11192-0120777-7.
  • HOU, J. Exploration into the evolution and historical roots of citation analysis by referenced publication year spectroscopy. Scientometrics, Dordrecht, v. 110, n. 3, p. 1437-1452, 2017. DOI:10.1007/s11192-016-2206-9. Disponível em: https://www.semanticscholar.org/paper/ Exploration-into-the-evolution-and-historical-roots-Hou/96ccbf8256fa87ef3bc4a23add78ad65bb06 ef53. Acesso em: 02 dez. 2017.
  • JACSÓ, P. Google Scholar Metrics for Publications: the software and content features of a new open access bibliometric service. Online Information Review, v. 36, n. 4, p. 604-619, 2012. Disponível em: https://www.emerald.com/insight/content/doi/10.1108/14684521211254121/full/html. Acesso em: 10 dez. 2020.
  • JACSO, P. Grim tales about the impact factor and the h-index in the Web of Science and the Journal Citation Reports databases: reflections on Vanclay’s criticism. Scientometrics, Dordrecht, v. 92, n. 2, p. 325-354, 2012. Disponível em: https://link.springer.com/article/10.1007/s11192-012-0769-7. Acesso em: 10 jan. 2020.
  • KRAMPL, A. Journal Citation Reports. Journal of the Medical Library Association, v. 107, n. 2, p. 280-283, Apr. 2019. DOI dx.doi.org/10.5195/jmla.2019.646. Acesso em: http://jmla.pitt.edu/ojs/jmla/ article/view/646. Acesso em: 23 jan. 2020.
  • LARIVIÈRE, V.., SUGIMOTO, C. R. The Journal Impact Factor: a brief history, critique, and discussion of adverse effects. arXiv, Springer Handbook of Science and Technology Indicators, 2018. Disponível em: https://arxiv.org/ftp/arxiv/papers/1801/1801.08992.pdf. Acesso em: 20 jan. 2020.
  • LEVINE, David M. et al. Estatística: teoria e aplicações usando microsoft® excel em português. 6. ed. Rio de Janeiro: LTC, 2012.
  • LEYDESDORFF, L.., BORNMANN, L. The operationalization of “Fields” as WoS Subject Categories (WCs) in evaluative bibliometrics: the cases of “Library and Information Science” and “Science and Technology Studies”. Journal of the Association for Information Science and Technology, v. 67, n. 3, p. 707-714, 2016. DOI: 10.1002/asi.23408
  • LÓPEZ-CÓZAR, E. D.., CABEZAS-CLAVIJO, A. Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank? Learned Publishing, v. 26, n. 2, p.
  • 101–114, Apr. 2013. DOI 10.1087/20130206. Disponível em: https://arxiv.org/abs/1303.5870. Acesso em: 25 jan. 2020.
  • LÓPEZ-CÓZAR, E. D., ROBINSON-GARCÍA, N.., TORRES-SALINAS, D. The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the Association for Information Science and Technology, v. 65, n. 3, p. 446-54, 2014.
  • MUGNAINI, R.., PIO, L. A. S.., PAULA, A. de S. A. de. A comunicação científica em periódicos no Brasil: índices de citação, indexação e indicadores bibliométricos na avaliação da ciência. In: CARNEIRO, F. F. B.., FERREIRA NETO, A.., SANTOS, W. dos (org.). A comunicação científica em periódicos. Curitiba: Appris, 2019. p. 173-202.
  • ORDUÑA-MALEA, E. et al. La revolución Google Scholar: destapando la caja de Pandora académica. Granada: Editorial Universidad de Granada, 2016. ISBN 978-84-338-5985-3.
  • ORDUÑA‐MALEA, E.., AYTAC, S.., TRAN, C. Y. Universities through the eyes of bibliographic databases: a retroactive growth comparison of Google Scholar, Scopus and Web of Science. Scientometrics, v. 121, n. 1, p. 433-450, 2019. DOI: https://doi.org/10.1007/s11192-019-03208-7.
  • ORDUÑA‐MALEA, E.., LÓPEZ-CÓZAR, E. D. Google Scholar Metrics evolution: an analysis according to languages. Scientometrics, v. 98, p. 2353–2367, 2014. Disponível em: https://arxiv.org/ftp/arxiv/ papers/1310/1310.6162.pdf. Acesso em: 25 jan. 2020.
  • PLATAFORMA SUCUPIRA. 2020. Disponível em: https://sucupira.capes.gov.br/sucupira/. Acesso em: 20 jan. 2020.
  • VANCLAY, J. K. Impact factor: Outdated artefact or stepping-stone to journal certification? Scientometrics, v. 92, n. 2, p. 211-238, 2012. Disponível em: https://link.springer.com/ article/10.1007/s11192-011-0561-0. Acesso em: 20 jan. 2020.
  • WALTMAN, L. A review of the literature on citation impact indicators. Journal of Informetrics, v. 10, n. 2, p. 365-391, 2016. DOI: 10.1016/j.joi.2016.02.007 Disponível em: https://www.researchgate.net/ publication/279968736_A_review_of_the_literature_on_citation_impact_indicators. Acesso em: 02 dez. 2019.
  • WALTMAN, L.., TRAAG, V. A. Use of the journal impact factor for assessing individual articles need not be wrong. arXiv, preprint arXiv:1703.02334, 2017. Disponível em: https://arxiv.org/ftp/arxiv/ papers/1703/1703.02334.pdf. Acesso em: 20 jan. 2020.
  • WEB OF SCIENCE. Bases de dados. 2019. Disponível em: https://images.webofknowledge.com/ images/help/pt_BR/WOK/hp_database.html. Acesso em: 23 nov. 2019.
  • ZHANG, Y.., LUN, H. Is Google Scholar useful for the evaluation of non-English scientific journals? The case of Chinese journals. Learned Publishing, v. 32, p. 154-162, 2019. DOI 10.1002/leap.1208.
NLP0.29
Visto 14 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2020-03-31] => 136728
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Heloisa Costa] => 26605
                        )

                    [1] => Array
                        (
                            [Fabio Lorensi do Canto] => 636
                        )

                    [2] => Array
                        (
                            [Adilson Luiz Pinto] => 638
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/326/2020/10/oai_periodicos_ufpb_br_article_50676#00019.pdf] => 147978
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Artigo de revisão] => 98
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & sociedade: estudos] => 326
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00019-2020-30-1] => 147889
                        )

                )

        )

    [hasAbstract] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [The present work measures the impact of Brazilian Information Science journals using the methodology proposed by the new Qualis. It analyses the journals in the “Revistas Brasileiras” collection of the Information Science Database (BRAPCI), which were designated to the area 31 of Qualis in 2016 and which had their classification published in the Qualis’ preliminary list in 2019. The FI (JCR), the CiteScore (SJR) and the h5 Index (GSM) of the indexed journals were identified. The Publish or Perish software was used to calculate the h5 index of the non-indexed journals, as well as to collect citation data of articles published in the last five years. The data received a treatment for the elimination of duplicate records and non-citable documents. The average number of citations per article, the standard deviation, the number of citations received by the most cited article and the percentage of articles without citation were calculated. The results suggest that, although most journals have increased their level of classification, the proposal for the new Qualis methodology did not favor Brazilian Information Science, considering the non-permanence of publications in A1 stratum. On the other hand, the adoption of the GSM h5 index for the evaluation of journals without FI or CiteScore is positive. It was also found that the preliminary Qualis classification (2019) presents inconsistencies, considering the classification of similar h5 index journals in different strata. Finally, it was found that the use of Publish or Perish software implies the need for data treatment, considering the various errors presented.] => 0
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [O presente trabalho mensura o impacto dos periódicos brasileiros de Ciência da Informação a partir da metodologia proposta pelo novo Qualis. Foram analisados os periódicos da coleção “Revistas Brasileiras” da Base de Dados de Ciência da Informação (BRAPCI) avaliados na área 31 do Qualis de 2016 e com classificação divulgada na lista prévia do Qualis em 2019. Foram identificados o FI (JCR), o CiteScore (SJR) e o Índice h5 (GSM) dos periódicos indexados. Utilizou-se o software Publish or Perish para cálculo do índice h5 dos periódicos não indexados, bem como para coleta dos dados de citação dos artigos publicados nos últimos cinco anos. Os dados receberam tratamento visando a eliminação de registros duplicados e documentos não citáveis. Foram calculadas a média de citações por artigo, o desvio padrão, o número de citações recebidas pelo artigo mais citado e o percentual de artigos sem citação. Os resultados sugerem que, embora a maioria de periódicos tenha aumentado seu nível de classificação, a proposta da nova metodologia Qualis não favoreceu a Ciência da Informação brasileira, considerando a não permanência de publicações no estrato A1. Por outro lado, aponta-se como positiva a adoção do índice h5 do GSM para a avaliação de periódicos sem FI ou CiteScore. Constatou-se ainda que a classificação preliminar do Qualis (2019) apresenta incongruências, tendo em vista a classificação de periódicos de índice h5 semelhantes em estratos diferentes. Por fim, verificou-se que o uso do software Publish or Perish implica na necessidade de tratamento dos dados, considerando os diversos erros apresentados.] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:periodicos.ufpb.br:article/50676] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/50676] => 0
                        )

                    [1] => Array
                        (
                            [10.22478/ufpb.1809-4783.2020v30n1.50676] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & Sociedade: Estudos; v. 30 n. 1 (2020)] => 0
                        )

                    [1] => Array
                        (
                            [1809-4783] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [0104-0146] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Google Scholar Metrics e a proposta do novo Qualis: impacto dos periódicos brasileiros de Ciência da Informação] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/50676/29814] => 0
                        )

                    [1] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/50676/29816] => 0
                        )

                    [2] => Array
                        (
                            [https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/50676/29817] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [oai:periodicos.ufpb.br:article/50676#00019] => 0
                        )

                )

        )

    [hasSubject] => Array
        (
            [pt] => Array
                (
                )

        )

)