Article Brapci-Autoridades

O Fator de Impacto e as boas práticas de avaliação científica

Catia Candida de Almeida
Maria Claudia Cabrini Gracio

A presente pesquisa teve como objetivo de apresentar os princípios norteadores de boas práticas de avaliação científica evidenciando a presença do indicador Fator de Impacto no contexto da avaliação científica. Adotou um levantamento bibliográfico de documentos que sugerem boas práticas de avaliação científica, a saber: DORA, Manifesto de Leiden e do Comitê de Avaliação Internacional de Pesquisa Quantitativa de Matemática e Estatística. Nessa perspectiva, o estudo mostra os princípios regidos pela CAPES à luz das recomendações internacionais de boas práticas de avaliação científica. Aponta-se que o indicador Fator de Impacto tornou-se presente no contexto das avaliações científicas e os documentos recomendam a não utilização desse indicador ou escolha de novas métricas e indicadores que sucedem o Fator de Impacto. Entretanto, contrariando as recomendações internacionais o Fator de Impacto é um dos indicadores mais utilizados nas avaliações científicas no Brasil. Desse modo, ressalta-se a avaliação da produção científica brasileira não deve ser sustentada por único indicador, corre-se o risco de levar a tomada de decisões incorreta e inconsistentes.@pt

. ::none::, [????].

References

  • ADLER, R.., EWING, J.., TAYLOR, P. Citation Statistics. Statistical Science, v. 24, n.1, p.1-14, 2009. Disponível em: https://projecteuclid.org/download/pdfview_1/euclid.ss/1255009002. Acesso em: 20 dez. 2019. doi: 10.1214/09-STS28.
  • AL-AWQATI, Q. Impact factors and prestige. Kidney International, v. 71, n. 3, p. 183–185, 2007. Disponível em: https://www.researchgate.net/publication/6551721_Impact_factors_and_prestige. Acesso em: 20 dez. 2019. doi:10.1038/sj.ki.5002094.
  • ALMEIDA, C. C. Fator de Impacto e avaliação da produção científica: compreensão na perspectiva das áreas de Ciência da Informação e Matemática, Probabilidade e Estatística. 2019. Tese (Doutorado em em Ciência da Informação) - Universidade Estadual Paulista Júlio de Mesquita Filho, Marília, SP. 2019. Disponível em: https://repositorio.unesp.br/handle/11449/182447. Acesso em: 10 dez. 2019.
  • BARATA, R. C. B. Dez coisas que você deveria saber sobre o Qualis. RBPG, Brasília, v. 13, n. 30, p. 13 -40, jan./abr. 2016. Disponível em: http://ojs.rbpg.capes.gov.br/index.php/rbpg/article/view/947. Acesso em: 20 nov. 2016.
  • BORGES, N. O fator de impacto e a avaliação da publicação científica. Revista Portuguesa de Cirurgia, Lisboa, n. 38, p.7-8, 2016. Disponível em: http://www.scielo.mec.pt/scielo.php?script=sci_arttext and pid=S1646-69182016000500002. Acesso em: 15 janeiro 2018.
  • BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). História e missão. Brasília: CAPES, c2018. Disponível em: https://www.capes.gov.br/historia-e-missao. Acesso em: 25 nov. 2017.
  • BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Relatório Técnico DAV Avaliação Multidimensional de Programas de Pós-Graduação. Brasília: CAPES, 2019. Disponível em: https://www.capes.gov.br/images/novo_portal/documentos/DAV/avaliacao/19072019_Rela torio-Tecnico-DAV-Avaliacao-Multidimensional-PPG.pdf. Acesso em: 02 out. 2019.
  • BREMBS, B. Prestigious Science Journals Struggle to Reach Even Average Reliability. Frontiers Human Neuroscience, Switzerland, v. 12, p. 37, 2018. Disponível em: https://www.frontiersin.org/articles/10.3389/fnhum.2018.00037/full. Acesso em: 20 dez. 2019. doi: 0.3389/fnhum.2018.00037.
  • CAMPOS, J. N. B. Qualis periódicos: conceitos e praticas nas Engenharias I. RBPG, Brasília, v. 7, n. 14, p. 477-503, dez. 2010. Disponível em: https://ojs.rbpg.capes.gov.br/Índex.php/rbpg/article/download/14/11. Acesso em: 22 mar. 2018.
  • CLARIVATE ANALYTICS. The Clarivate Analytics Impact Factor. 2018. Disponível em: https://clarivate.com/essays/impact-factor. Acesso em: 05 jan. 2018.
  • DE BELLIS, N. Bibliometrics and Citation Analysis: from the Science Citation Index to Cybermetrics. Lanham, Md: Scarecrow Press, 2009.
  • DECLARATION ON RESEARCH ASSESSMENT (DORA). San Francisco Declaration on Research Assessment. 2012. Disponível em: http://www.ascb.org/files/SFDeclarationFINAL.pdf?x30490. Acesso em: 20 jan. 2018.
  • EUROPEAN COMMISSION. Evaluation of research careers fully acknowledging open science practices: rewards, incentives and/or recognition for researchers practicing Open Science. Luxembourg: European Union, 2017. Disponível em: https://ec.europa.eu/research/openscience/pdf/os_rewards_wgreport_final.pdf. Acesso em: 20 dez. 2019. doi: 10.2777/75255.
  • FERNANDÉZ-LLIMÓS, F. S. Análisis de la cobertura del concepto de Pharmaceutical Care en fuentes primarias y secundarias de información. 2003. 266 f. Tese. Granada: Universidad de Granada, Departamento de Farmacia y Tecnologia Farmacéutica, 2003.
  • GARFIELD, E. Citation indexes for science: A new dimension in documentation through association of ideas. Science, v. 122, n. 3159, p. 108–11, 1955. Disponível em: http://garfield.library.upenn.edu/papers/science1955.pdf. Acesso em: 10 dez. 2017.
  • GARFIELD, E. Citation analysis as a tool in journal evaluation. Science, v. 17, p. 471-479, 1972. Disponível em: http://www.garfield.library.upenn.edu/essays/V1p527y1962-73.pdf. Acesso em: 11 nov. 2017.
  • GARFIELD, E.., SHER, I. H. New Factors in the Evaluation of Scientific Literature Through Citation Indexing. American Documentation, v.4, n. 3, p. 195-201, 1963. Disponível em: http://garfield.library.upenn.edu/essays/v6p492y1983.pdf. Acesso em: 11 nov. 2017.
  • GUTIERRES, R. C. C.., CABRINI, G. M. C. Indicadores de avaliação de Programas de PósGraduação: um estudo comparativo na área da Matemática. Em Questão, Porto Alegre, v. 18, Edição Especial, p.81 - 97, dez. 2012. Disponível em: https://seer.ufrgs.br/EmQuestao/article/view/33192/24052. Acesso em: 9 nov. 2019.
  • GLÄNZEL, W.., MOED, F. H. Journal impact measures in bibliometric research. Scientometrics, Netherlands, v. 53, n. 2, p. 171-193, 2002. Disponível em: https://sci2s.ugr.es/sites/default/files/files/TematicWebSites/hindex/GlanzelMoed2002.pdf. Acesso em: 20 dez. 2019. doi: 10.1023/A:1014848323806. GRACIO, M. C.C., OLIVEIRA, E. F. T. Indicadores cientométricos normalizados: um estudo na produção científica brasileira internacional (1996 a 2011). Perspectivas em Ciência da Informação, Belo Horizonte, v.19, n.3, p.118-133, 2014. Disponível em: http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1898. Acesso em: 18 dez. 2019. doi: 10.1590/1981-5344/1898. HICKS, D. et al. The Leiden Manifesto for research metrics. Nature, v. 520, n. 7548, p. 429431, 2015. Disponível em: https://www.nature.com/nature/volumes/520/issues/7548. Acesso em: 18 dez. 2019. doi: 10.1038/520429a.
  • HIRST, G. Discipline impact factor: a method for determining core journal lists. Journal of the American Society for Information Science, v. 29, p. 171–172, 1978. doi: 10.1002/asi.4630290403.
  • KALTENBORN, F. K. Validity and fairness of the impact factor. German: Birkhäuser, 2004.
  • LEYDESDORFF, L.., BORNMANN, L. Integrated Impact Indicators (I3) compared with Impact Factors (IFs): An alternative research design with policy implications. Journal of the American Society for Information Science and Technology. v. 62, n. 11, p. 2133-2146, 2011. Disponível em: https://pdfs.semanticscholar.org/a409/1a0f1f4d2aa2d5229b90887ab6eb63a7d0573.pdf. Acesso em: 14 fev. 2017.
  • MACIAS-CHAPULA, C. A. O papel da informetria e da cienciometria e sua perspectiva nacional e internacional. Ciência da Informação, Brasilia, v.27, n.2, p.134-40, maio/ago. 1998.
  • MAISONNEUVE, H. L’autosuffisance des dictateurs des facteurs d’impact cache leur ignorance de la bibliométrie. Médecine thérapeutique. Paris, v. 21, n. 2, p. 77-79, 2015. doi:10.1684/met.2015.0485.
  • OLIVEIRA, T. M.., AMARAL, L. Políticas Públicas em Ciência e Tecnologia no Brasil: desafios e propostas para utilização de indicadores na avaliação. In: MUGNAINI, R.., FUJINO, A.., KOBASHI, N. Y. (Org.). Bibliometria e Cientometria no Brasil: infraestrutura para avaliação da pesquisa científica na Era do Big Data. São Paulo: ECA/USP, 2017. p. 189-217. http://www.livrosabertos.sibi.usp.br/portaldelivrosUSP/catalog/view/129/108/547-1. Acesso em: 20 dez. 2019. doi: 10.11606/9788572051705.
  • PENNER, O. et al. On the predictability of future impact in science. Scientific Reports, United Kingdom, v. 3, n. 3052, 2013. Disponível em: https://www.nature.com/articles/srep03052. Acesso em: 18 dez. 2019. doi: 10.1038/srep03052.
  • ROSSEAU, R. Median and percentile impact factors: a set of new indicators. Scientometrics, Netherlands, v. 63, p. 431–441, 2005. doi: 10.1007/s11192-005-0223.
  • SEGLEN, P.O. Citations and journal impact factors: questionable indicators of research quality. Allergy, v. 52, v. 11, p. 1050-1056, 1997. Disponível em: https://onlinelibrary.wiley.com/doi/epdf/10.1111/j.1398-9995.1997.tb00175.x. Acesso em: 20 dez. 2019. doi: 10.1111/j.1398-9995.1997.tb00175.x.
  • SIMONS, K. The misused Impact Factor. Science, v. 322, n. 5899, p. 165, 2008. doi: 10.1126/science.1165316.
  • SOMBATSOMPOP, N. MARKPIN, T.., PREMKAMOLNETR, N. A modified method for calculating the Impact Factors of journals in ISI Journal Citation Reports: polymer science category in 1997-2001. Scientometrics, v. 60, n. 2, p. 217–235, 2004. doi: 10.1023/B:SCIE.0000027794.98854.f6.
  • SPINAK, E. Indicadores cienciométricos. Brasília, Ciência da Informação, v. 27, n. 2, p. 141148, 1998.
  • VAN LEEUWEN, T. Discussing some basic critique on Journal Impact Factors: revision of earlier comments. Scientometrics, v. 92, p. 443–455, 2012. Disponível em: https://link.springer.com/content/pdf/10.1007/s11192-012-0677-x.pdf. Acesso em: 20 dez. 2019. doi: 10.1007/s11192-012-0677-x.
  • VAN LEEUWEN, T.., MOED H. Development and application of journal impact measures in the Dutch science system. Scientometrics, v. 53, 249., 2002. doi: 10.1023/A:1014808709694.
  • VARIN, C.., CATTELAN, M.., FIRTH, D. Statistical modelling of citation exchange between statistics journals. Journal Royal Statistical Society, n. 179, part 1, p. 1-63, 2016. Disponível em: https://rss.onlinelibrary.wiley.com/oi/epdf/10.1111/rssa.12124. Acesso em 25 abr. 2018.
  • VINKLER, P. Possible causes or differences in information impact of journals from different subfields. Scientometrics, Netherlands, v. 20, n. 1, p. 145-161, 1991.doi: 10.1007/BF02018152.
  • VOGEL, M. J. M.. Uso de indicadores bibliométricos na avaliação da CAPES: o Qualis Periódicos. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 18., 2017, Marília. ANAIS [....] Marília: PPGCI/UNESP, SP, 2017.
  • WALTMAN, L. A review of the literature on citation impact indicators. Journal of Informetrics, Netherlands, v.10, n. 2, p.365-391, 2016. doi: 10.1016/j.joi.2016.02.007.
  • WALTMAN, L.., TRAAG, V. A. Use of the journal impact factor for assessing individual articles need not be wrong. CWTS: meaningful metrics [blog], Leiden, mar. 2017. Disponível em: https://www.cwts.nl/blog?article=n-q2z254 and title=use-of-the-journal-impact-factor-forassessing-individual-articles-need-not-be-wrong%3e.%20Acesso. Acesso em: 20 dez. 2019.
  • WOUTERS P., et al. Rethink impact factors: find new ways to judge a journal. Nature, v. 569, p. 621-623, 2019. Disponível em: https://www.nature.com/articles/d41586-019-01643-3. Acesso em: 20 dez. 2019. doi: 10.1038/d41586-019-01643-3.
NLP0.29
Visto 16 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2020-05-16] => 139839
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Catia Candida de Almeida] => 11822
                        )

                    [1] => Array
                        (
                            [Maria Claudia Cabrini Gracio] => 6597
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/535/2020/05/oai_www_seer_ufal_br_article_8865#00033.pdf] => 139942
                        )

                )

        )

    [hasPageEnd] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [152] => 1167
                        )

                )

        )

    [hasPageStart] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [138] => 2068
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Relato de pesquisa] => 99
                        )

                )

        )

    [hasSubject] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Ciência da informação] => 237157
                        )

                    [1] => Array
                        (
                            [Produção e organização da informação] => 139877
                        )

                    [2] => Array
                        (
                            [Avaliação científica] => 268028
                        )

                    [3] => Array
                        (
                            [Boa prática de avaliação científica] => 139878
                        )

                    [4] => Array
                        (
                            [Fator de impacto] => 270935
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Ciência da informação em revista] => 535
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00033-2020-7-1] => 139837
                        )

                )

        )

    [hasAbstract] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [A presente pesquisa teve como objetivo de apresentar os princípios norteadores de boas práticas de avaliação científica evidenciando a presença do indicador Fator de Impacto no contexto da avaliação científica. Adotou um levantamento bibliográfico de documentos que sugerem boas práticas de avaliação científica, a saber: DORA, Manifesto de Leiden e do Comitê de Avaliação Internacional de Pesquisa Quantitativa de Matemática e Estatística. Nessa perspectiva, o estudo mostra os princípios regidos pela CAPES à luz das recomendações internacionais de boas práticas de avaliação científica. Aponta-se que o indicador Fator de Impacto tornou-se presente no contexto das avaliações científicas e os documentos recomendam a não utilização desse indicador ou escolha de novas métricas e indicadores que sucedem o Fator de Impacto. Entretanto, contrariando as recomendações internacionais o Fator de Impacto é um dos indicadores mais utilizados nas avaliações científicas no Brasil. Desse modo, ressalta-se a avaliação da produção científica brasileira não deve ser sustentada por único indicador, corre-se o risco de levar a tomada de decisões incorreta e inconsistentes.] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:www.seer.ufal.br:article/8865] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [http://www.seer.ufal.br/index.php/cir/article/view/8865] => 0
                        )

                    [1] => Array
                        (
                            [10.28998/cirev.2020v7n1i] => 0
                        )

                    [2] => Array
                        (
                            [https://www.seer.ufal.br/index.php/cir/article/view/8865] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Ciência da Informação em Revista; v. 7, n. 1 (2020); 138-152] => 0
                        )

                    [1] => Array
                        (
                            [2358-0763] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [O Fator de Impacto e as boas práticas de avaliação científica] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [http://www.seer.ufal.br/index.php/cir/article/view/8865/7411] => 0
                        )

                    [1] => Array
                        (
                            [https://www.seer.ufal.br/index.php/cir/article/view/8865/7411] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Oai:www.seer.ufal.br:article/8865#00033] => 0
                        )

                )

        )

)