Article Brapci-Revistas

Limitations of Scopus as a source of indicators: In search for a more comprehensive understanding of the visibility of Argentinian social science journals

Las limitaciones de Scopus como fuente de indicadores: Buscando una visibilidad integral para revistas argentinas en ciencias sociales

Cecilia Rozemblum
Juan Pablo Alperin
Carolina Unzurrunzaga

This work seeks proposes a group of indicators that can be used to understand the visibility of social science journals in a more comprehensive way. To this end, the use of various sources of data pertaining to citation, accessibility, and reach are considered. A sample of 11 social science journals published in Argentina and indexed in Scimago Journal & Country Rank is used. The ranking and number of citations found in Scopus are analyzed and compared against data obtained from Google Scholar using the Publish or Perish tool. In addition, data regarding the accessibility and use, as well as alternative metrics, are collected from SciELO, Redalyc, and Dimensions and systematized. The analysis highlights the limited ways in which impact is measured using Scopus data and shows that, by combining data from additional sources, new dimensions of visibility are made apparent. The article concludes with a proposal for a new set of comprehensive visibility indicators that rely on freely available data and allow journal managers and editors to offer a more complete picture of the citational impact and use of their journals and articles.@en

En este trabajo se avanza en la definición de un conjunto de indicadores para medir la visibilidad de las revistas científicas de ciencias sociales de manera integral. Para esto, se considera el uso de fuentes diversas que permitan conocer la citación, la accesibilidad y los alcances de las publicaciones. Se toman como muestra 11 revistas de ciencias sociales editadas en Argentina incluidas en el SCImago Journal & Country Rank. Se analizan sus posiciones en el ranking y el número de citas de esta base y se lo compara con datos recogidos en Google Scholar utilizando la herramienta Publish or Perish. Además, se sistematiza información acerca de su accesibilidad e indicadores de uso y métricas alternativas de sus propios portales, de SciELO, Redalyc y de la base de datos Dimensions. Se pone en evidencia la parcialidad del impacto medido desde Scopus para este grupo de revistas y se demuestra que, al combinar las fuentes, se amplían y diversifican los datos de visibilidad. Para finalizar, se proponen una serie de indicadores básicos de visibilidad integral a partir de las fuentes disponibles que permiten a los gestores de revistas ofrecer datos más certeros de la citación y usos de las revistas y sus artículos.@es

. Limitations of scopus as a source of indicators: in search for a more comprehensive understanding of the visibility of argentinian social science journals las limitaciones de scopus como fuente de indicadores: buscando una visibilidad integral para revistas argentinas en ciencias sociales. E-ciencias de la información (costa rica), [????].

References

  • Aguado-López, E., Becerril-García, A. y Chávez-Ávila, S. (2019). Reflexión sobre la publicación académica y el acceso abierto a partir de la experiencia de Redalyc. Palabra Clave (La Plata), 8(2), e067. DOI: https://doi.org/10.24215/18539912e067
  • Aguado-López, E. y Vargas Arbeláez, E. J. (2016). Reapropiación del conocimiento y descolonización: El acceso abierto como proceso de acción política del sur. Revista Colombiana de Sociología, 39(2), 69-88. DOI: https://doi.org/10.15446/rcs.v39n2.58966
  • Alperin, J. P. (2015a). The public impact of Latin America’s approach to open access [Doctoral Dissertation, Stanford University]. Recuperado de https://purl.stanford.edu/jr256tk1194
  • Alperin, J.P. (2015b). Geographic variation in social media metrics: an analysis of Latin American journal articles. Aslib Journal of Information Management, 67(3). DOI: https://doi.org/10.1108/AJIM-12-2014-0176
  • Alperin, J. P. (2019). Altmetrics Come to OJS: Announcing the Paperbuzz Plugin. Recuperado de https://pkp.sfu.ca/2019/04/30/announcing-the-ojs-paperbuzz-plugin/
  • Alperin, J. P., Babini, D. y Fischman, G. (Eds.). (2014). Indicadores de acceso abierto y comunicaciones académicas en América Latina. Buenos Aires: CLACSO. Recuperado de http://eprints.rclis.org/25121/
  • Alperin, J. P., Stranack, K. y Garnett, A. (2016). On the Peripheries of Scholarly Infrastructure: A Look at the Journals Using Open Journal Systems. Recuperado de http://summit.sfu.ca/item/16763
  • Alperin, J.P., y Rozemblum, C. (2017) La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. DOI: http://dx.doi.org/10.17533/udea.rib.v40n3a04
  • Banzato, G., y Rozemblum, C. (2019). Modelo sustentable de gestión editorial en Acceso Abierto en instituciones académicas. Principios y procedimientos. Palabra Clave (La Plata), 8(2), e069. DOI: https://doi.org/10.24215/18539912e069
  • Barata, G. (2019). Por métricas alternativas mais relevantes para a América Latina. Transinformação, 31, e190031. DOI: https://doi.org/10.1590/2318-0889201931e190031
  • Bongiovani, P., Miguel, S. y Gómez, N.D. (2013). Acceso abierto, impacto científico y la producción científica en dos universidades argentinas en el campo de la medicina. Revista Cubana de Información en Ciencias de la Salud, 24(2), 118-132. Recuperado de http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132013000200003&lng=es&tlng=es
  • Castellá, C. O., y Borrull, A. L. (2017). Redes sociales y «altmetrics»: Nuevos retos para las revistas científicas. En E. Abadal (ed.) Revistas científicas: Situación actual y retos de futuro (pp. 197-220). Barcelona: Edicions de la Universitat de Barcelona. Recuperado de http://www.publicacions.ub.edu/ficha.aspx?cod=08719
  • Consejo Nacional de Investigaciones Científicas y Técnicas. (2014). Resolución 2249/14. Recuperado de http://idh.unc.edu.ar/files/CCSH_-RD-20140625-2249.pdf
  • Consejo Latinoamericano de Ciencias Sociales. (2015). Declaración de CLACSO sobre el acceso abierto al conocimiento gestionado como un bien común. CLACSO. Recuperado de https://www.clacso.org.ar/conferencia2015/documentos/asamblea/declaraciones/4-Declaracion-de-CLACSO-sobre%20el-acceso-abierto-al-conocimiento-gestionado-como-un-bien-comun.pdf
  • Elsevier (2020). Journal selection criteria. Recuperado de https://www.elsevier.com/solutions/scopus/how-scopus-works/content/content-policy-and-selection.
  • Erdt, M., Nagarajan, A., Sei-Ching, J.S. y Yin-Leng, T. (2016). Altmetrics: An analysis of the state-of-the-art in measuring research impact on social media. Scientometrics, 109, 1117–1166. DOI: https://doi.org/10.1007/s11192-016-2077-0
  • Fuchs, C. y Sandoval, M. (2013). The Diamond Model of Open Access Publishing: Why Policy Makers, Scholars, Universities, Libraries, Labour Unions and the Publishing World Need to Take Non-Commercial, Non-Profit Open Access Serious. TripleC: Communication, Capitalism y Critique. Open Access Journal for a Global Sustainable Information Society, 11(2), 428-443. DOI: https://doi.org/10.31269/triplec.v11i2.502
  • Harzing, A.W. (2007). Publish or Perish. Recuperado de http://www.harzing.com/pop.htm Harzing, A.W. (2016). Prefacio II. Sacrificar un poco de precisión por una cobertura (mucho) más amplia. En E. Orduña-Malea, A. Martín-Martín, J. M. Ayllón, y E. Delgado López-Cózar (Eds.), La revolución Google Scholar: Destapando la caja de Pandora académica. España: Editorial Universidad de Granada; Unión de Editoriales Universitarias Españolas.
  • Harzing, A.W. (2019). Two new kids on the block: How do Crossref and Dimensions compare with Google Scholar, Microsoft Academic, Scopus and the Web of Science? Scientometrics, 120(1), 341-349. DOI: https://doi.org/10.1007/s11192-019-03114-y
  • Hernández-Fernández, L. (2017). La Revista de Ciencias Sociales (RCS) se consolida en SCOPUS, e ingresa al IRESIE. Revista de Ciencias Sociales, 22(4). DOI: https://doi.org/10.31876/rcs.v22i4.24872
  • Jorge Alonso, A. y de Frutos, R. (2016). La evaluación de la investigación universitaria en España. Chasqui. Revista Latinoamericana de Comunicación, 133, 159-172. https://revistachasqui.org/index.php/chasqui/article/view/2924
  • Llueca, C. (2020). La universidad y sus revistas académicas: cinco hipótesis para una reflexión necesaria [Mensaje del blog Aula Magna 2.0]. Recuperado de https://cuedespyd.hypotheses.org/8280
  • Martín-Martín, A., Orduna-Malea, E., Thelwall, M. y Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. DOI: https://doi.org/10.1016/j.joi.2018.09.002
  • Martínez-Ávila, D. (2019). Qualis Periódicos: El sistema brasileño de evaluación de revistas. Anuario ThinkEPI, 13. DOI: https://doi.org/10.3145/thinkepi.2019.e13e01
  • Montoya, J., Arbesú, I., Contreras, G. y Conzuelo, S. (2014). Evaluación de la docencia universitaria en México, Chile y Colombia: Análisis de experiencias. Revista Iberoamericana de Evaluación Educativa, 7(2e), 15-42. Recuperado de http://www.rinace.net/riee/numeros/vol7-num2e/art1.pdf
  • Orduña-Malea, E., Martín-Martín, A. y Delgado-López-Cózar, E. (2016). The next bibliometrics: ALMetrics (Author Level Metrics) and the multiple faces of author impact. El profesional de la información, 25(3), 485-496. DOI: https://doi.org/10.3145/epi.2016.may.18
  • Packer, A.L, Cop, N., Luccisano, A, Ramalho, A. y Spinak, E. (Orgs.) (2014). SciELO – 15 Años de Acceso Abierto: un estudio analítico sobre Acceso Abierto y comunicación científica. París, Francia: UNESCO. DOI: http://dx.doi.org/10.7476/9789233012370.
  • Pires, A. D. S., Reategui, E. B., França, A. C. X., Bettinger, E., y Franco, S. R. K. (2020). Implicações do Sistema de Classificação de Periódicos Qualis em Práticas de Publicação no Brasil entre 2007 e 2016. Arquivos Analíticos de Políticas Educativas, 28(25). DOI: https://doi.org/10.14507/epaa.28.4353
  • Piwowar, H., Priem, J., Larivière, V., Alperin, J.P., Matthias, L., Norlander, B., Farley, A., West, J. y Haustein, S. (2018). The state of OA: a large-scale analysis of the prevalence and impact of Open Access articles. PeerJ, 6, e4375. DOI: https://doi.org/10.7717/peerj.4375
  • Romero-Torres, M., Acosta-Moreno, L. A. y Tejada-Gómez, M. A. (2013). Ranking de revistas científicas en Latinoamérica mediante el índice h: Estudio de caso Colombia. Revista española de Documentación Científica, 36(1), 003. DOI: https://doi.org/10.3989/redc.2013.1.876
  • Rozemblum, C. (2014). El problema de la visibilidad en revistas científicas argentinas de Humanidades y Ciencias Sociales: Estudio de casos en Historia y Filosofía (Tesis de maestría). Universidad Nacional de Quilmes, Bernal, Argentina. Recuperado de http://www.memoria.fahce.unlp.edu.ar/tesis/te.1031/te.1031.pdf
  • Rozemblum, C. y Banzato, G. (2012). La cooperación entre editores y bibliotecarios como estrategia institucional para la gestión de revistas científicas. Información, Cultura y Sociedad, 27. Recuperado de http://ppct.caicyt.gov.ar/index.php/ics/article/view/1983
  • Rozemblum, C., Unzurrunzaga, C., Pucacco, C. y Banzato, G. (2012). Parámetros de evaluación para la inclusión e indización de revistas científicas en bases de datos locales e internacionales: Análisis sobre su aporte a la calidad de las publicaciones de Humanidades y Ciencias Sociales. En Actas de las VII Jornadas de Sociología de la UNLP, 5 al 7 de diciembre de 2012, La Plata, Argentina. La Plata: UNLP-FAHCE. Recuperado de http://www.memoria.fahce.unlp.edu.ar/trab_eventos/ev.1406/ev.1406.pdf
  • Salatino, M. (2018). Más allá de la Indexación: Circuitos de Publicación de Ciencias Sociales en Argentina y Brasil. Dados, 61(1), 255-287. DOI: https://doi.org/10.1590/001152582018152
  • Scimago Research Group (2007). Description of scimago journal rank indicator. Recuperado de https://www.scimagojr.com/SCImagoJournalRank.pdf
  • The San Francisco Declaration on Research Assessment. (2012). Recuperado de https://sfdora.org/read/
  • Uribe Tirado, A., Vallejo Echavarria, J. C. y Betancur Marín, D. A. (2016). Somos visibles y tenemos impacto. Análisis desde datos de acceso abierto, altmetrics y otros de la Revista Interamericana de Bibliotecología. Revista Interamericana de Bibliotecología, 39(3), 243-275. DOI: https://doi.org/10.17533/udea.rib.v39n3a04
  • Vasen, F. y Lujano Vilchis, I. (2017). Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista Mexicana de Ciencias Políticas y Sociales, 62(231), 199-228. DOI: https://doi.org/10.1016/S0185-1918(17)30043-0
  • Vera-Villarroel, P., Manzo, C., Silva, J. y Kühne, W. (2012). Terapia Psicológica, su ingreso al Web of Science y los nuevos desafíos. Terapia psicológica, 30(3). DOI: https://dx.doi.org/10.4067/S0718-48082012000300001
  • Vessuri, H., Guédon, J.-C. y Cetto, A. M. (2013). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62(5), 647-665. Recuperado de http://eprints.rclis.org/23682 /
  • Yunta, L. R., y Artigas, C. M. T. (2013). El editor técnico: Un perfil necesario para la profesionalización de la edición de revistas científicas en el entorno digital. Anales de Documentación, 16(2). DOI: https://doi.org/10.6018/analesdoc.16.2.176391
NLP0.29
Visto 15 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2021-06-07] => 160045
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Cecilia Rozemblum] => 61881
                        )

                    [1] => Array
                        (
                            [Juan Pablo Alperin] => 84124
                        )

                    [2] => Array
                        (
                            [Carolina Unzurrunzaga] => 62854
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/885/2021/09/oai_portal_ucr_ac_cr_article_44300#00071.pdf] => 164203
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Artículo científico] => 841
                        )

                    [1] => Array
                        (
                            [Artigo] => 3
                        )

                )

        )

    [hasSubject] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [Scientific journals] => 268330
                        )

                    [1] => Array
                        (
                            [Science assessment] => 161755
                        )

                    [2] => Array
                        (
                            [Social science] => 113503
                        )

                    [3] => Array
                        (
                            [Argentina] => 235021
                        )

                    [4] => Array
                        (
                            [Scholar google] => 161756
                        )

                    [5] => Array
                        (
                            [Visibility] => 186254
                        )

                    [6] => Array
                        (
                            [Scopus] => 246664
                        )

                    [7] => Array
                        (
                            [Visibility] => 7706
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [Scopus] => 200264
                        )

                    [1] => Array
                        (
                            [Revistas científicas] => 199266
                        )

                    [2] => Array
                        (
                            [Google acadêmico] => 1690
                        )

                    [3] => Array
                        (
                            [Visibilidad] => 18378
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Evaluación de la ciencia] => 286486
                        )

                    [1] => Array
                        (
                            [Ciencias sociales] => 249042
                        )

                    [2] => Array
                        (
                            [Argentina] => 235024
                        )

                    [3] => Array
                        (
                            [Revistas científicas] => 246741
                        )

                    [4] => Array
                        (
                            [Scopus] => 256396
                        )

                    [5] => Array
                        (
                            [Google académico] => 273749
                        )

                    [6] => Array
                        (
                            [Visibilidad] => 273113
                        )

                )

        )

    [wasPublicationInDate] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [2021-06-07] => 261458
                        )

                )

        )

    [hasLanguageExpression] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [es] => 233522
                        )

                )

        )

    [hasLicense] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [RESERVERD] => 234643
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [e-Ciencias de la Información (Costa Rica)] => 885
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00071-2021-11-] => 150805
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:71: 2021-0-0] => 232009
                        )

                )

        )

    [hasAbstract] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [This work seeks proposes a group of indicators that can be used to understand the visibility of social science journals in a more comprehensive way. To this end, the use of various sources of data pertaining to citation, accessibility, and reach are considered. A sample of 11 social science journals published in Argentina and indexed in Scimago Journal & Country Rank is used. The ranking and number of citations found in Scopus are analyzed and compared against data obtained from Google Scholar using the Publish or Perish tool. In addition, data regarding the accessibility and use, as well as alternative metrics, are collected from SciELO, Redalyc, and Dimensions and systematized. The analysis highlights the limited ways in which impact is measured using Scopus data and shows that, by combining data from additional sources, new dimensions of visibility are made apparent. The article concludes with a proposal for a new set of comprehensive visibility indicators that rely on freely available data and allow journal managers and editors to offer a more complete picture of the citational impact and use of their journals and articles.] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [En este trabajo se avanza en la definición de un conjunto de indicadores para medir la visibilidad de las revistas científicas de ciencias sociales de manera integral. Para esto, se considera el uso de fuentes diversas que permitan conocer la citación, la accesibilidad y los alcances de las publicaciones. Se toman como muestra 11 revistas de ciencias sociales editadas en Argentina incluidas en el SCImago Journal & Country Rank. Se analizan sus posiciones en el ranking y el número de citas de esta base y se lo compara con datos recogidos en Google Scholar utilizando la herramienta Publish or Perish. Además, se sistematiza información acerca de su accesibilidad e indicadores de uso y métricas alternativas de sus propios portales, de SciELO, Redalyc y de la base de datos Dimensions. Se pone en evidencia la parcialidad del impacto medido desde Scopus para este grupo de revistas y se demuestra que, al combinar las fuentes, se amplían y diversifican los datos de visibilidad. Para finalizar, se proponen una serie de indicadores básicos de visibilidad integral a partir de las fuentes disponibles que permiten a los gestores de revistas ofrecer datos más certeros de la citación y usos de las revistas y sus artículos.] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:portal.ucr.ac.cr:article/44300] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300] => 0
                        )

                    [1] => Array
                        (
                            [10.15517/eci.v11i2.44300] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [e-Ciencias de la Información; Volume 11, issue 2: July-december 2021] => 0
                        )

                    [1] => Array
                        (
                            [e-Ciencias de la Información; Volumen 11, número 2: Julio-diciembre 2021] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [1659-4142] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [Limitations of Scopus as a source of indicators: In search for a more comprehensive understanding of the visibility of Argentinian social science journals] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Las limitaciones de Scopus como fuente de indicadores: Buscando una visibilidad integral para revistas argentinas en ciencias sociales] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300/47017] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300] => 0
                        )

                    [1] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300/47017] => 0
                        )

                    [2] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300/50834] => 0
                        )

                    [3] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300/47583] => 0
                        )

                    [4] => Array
                        (
                            [https://revistas.ucr.ac.cr/index.php/eciencias/article/view/44300/50835] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Oai:portal.ucr.ac.cr:article/44300#00071] => 0
                        )

                )

        )

    [hasDOI] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [10.15517/eci.v11i2.44300] => 0
                        )

                )

        )

)