Article Brapci-Revistas

Métricas alternativas para avaliação da produção científica latino-americana: um estudo da Rede SciELO

Alternative metrics to evaluate Latin American scientific production: a SciELO network study

Métricas alternativas para la evaluación de la producción científica Latinoamericana: un estudio de la red SciELO

Ana Carolina Spatti
Paulo Roberto Cintra
Adriana Bin
Ronaldo Ferreira de Araújo

Objetivo: Buscando explorar o potencial da altmetria e considerando que poucos estudos abordam o impacto alternativo da produção científica da América Latina, o objetivo deste trabalho é qualificar a atenção online recebida por periódicos e artigos latino-americanos. Metodologia: A partir de uma abordagem analítico-descritiva, são analisados, via Altmetric.com, os dados altmétricos de 1211 periódicos e 18.737 artigos da Rede SciELO (Scientific Electronic Library Online) em termos de fontes da menção, área de conhecimento, país e idioma. Conclusões: A penetração da altmetria na América Latina é caracterizada por 58% dos periódicos e por 13% dos artigos. As menções predominam em periódicos de Ciências da Saúde e Biológicas e em artigos publicados em inglês, sendo o Twitter o destaque dentre as fontes de menção. Com base em indicadores de inserção, penetração e internacionalização, foi possível identificar grupos de países com perfis diferenciados.@pt

Objective: Seeking to explore the potential of altmetrics and considering that few studies address the alternative impact of scientific production in Latin America, the objective of this work is to qualify the online attention received by Latin American journals and articles. Methodology: Using an analytical-descriptive approach, we analyzed altmetrics data from 1,211 journals and 18,737 articles from the SciELO Network (Scientific Electronic Library Online) in terms of sources of mention, area of knowledge, country and language. Conclusions: 58% of journals and 13% of articles represent the penetration of altmetrics in Latin America. Mentions predominate in Health and Biological Sciences journals and in articles published in English, with Twitter being the highlight among the sources of mention. Additionally, based on insertion, penetration and internationalization indicators, it was possible to identify groups of countries with different profiles.@en
Objetivo: Buscando explorar el potencial de la altmetría y considerando que son pocos los estudios que abordan el impacto alternativo de la producción científica en América Latina, el objetivo de este trabajo es calificar la atención en línea que reciben las revistas y artículos latinoamericanos. Metodología: Con un enfoque analítico-descriptivo, se analizan datos altmétricos de 1211 revistas y 18,737 artículos de la Red SciELO (Scientific Electronic Library Online) en términos de fuentes de mención, área de conocimiento, país e idioma. Conclusiones: La penetración de la altmetría en América Latina se caracteriza por el 58% de las revistas y el 13% de los artículos. Predominan las menciones en revistas de Ciencias Biológicas y de la Salud y en artículos publicados en inglés, destacando Twitter entre las fuentes de mención. A partir de indicadores de inserción, penetración e internacionalización, fue posible identificar grupos de países con diferentes perfiles.@es

. ::none::, [????].

References

  • ALPERIN, J. P. Exploring altmetrics in an emerging country context. In: ACM WEB SCIENCE CONFERENCE, 14., 2014, Bloomington, Indiana. Proceedings […]. Bloomington: Indiana University, 2014.
  • ALPERIN, J. P. Geographic variation in social media metrics: an analysis of Latin American journal articles. Aslib J. Inf. Manag., v. 67, n. 3, p. 289-304, 2015.
  • ARAÚJO, R. F. “Impacto social” de periódicos: métricas de mídias sociais e altmetria. SciELO 20 anos, 2018, disponível em: https://pt.slideshare.net/scielo/5-ronaldo-118864531.
  • ARAÚJO, R. F. Dos dados altmétricos às citações: uma análise da revista DataGramaZero. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 15., 2014, Anais [...]. Belo Horizonte: ANCIB, 2014.
  • ARAÚJO, R. F. Mídias sociais e comunicação científica: análise altmétrica em artigos de periódicos da ciência da informação. Em Questão, v. 21, n. 1, p. 96109, 2015.
  • ARAUJO, R. F.., ALVES, M. Indicadores altmétricos da produção de pesquisadores brasileiros: análise dos bolsistas de produtividade do CNPq. Revista Ibero-Americana de Ciência da Informação, v. 12, n. 3, p. 850-862, 13 set. 2019.
  • ARAÚJO, R. F.., FURNIVAL, A. C. M. Comunicação científica e atenção online: em busca de colégios virtuais que sustentam métricas alternativas. Informação and Informação, v. 21, n. 2, p. 68-89, 2016.
  • BAHETI, A. D.., BHARGAVA, P. Altmetrics: a measure of social attention toward scientific research. Current Problems in Diagnostic Radiology, v. 46, n. 6, p.
  • 391–392, 2017.
  • BARATA, G. Por métricas alternativas mais relevantes para a América Latina. Transinformação, v. 31, n. e190031, nov. 2019.
  • BARATA, G.., SHORES, K.., ALPERIN, J. P. Local chatter or international buzz? Language differences on posts about Zika research on Twitter and Facebook. PloS one, v. 13, n. 1, 2018.
  • BORNMANN, L. Alternative metrics in scientometrics: A meta-analysis of research into three altmetrics. Scientometrics, v. 103, n. 3, p. 1123–1144, BORNMANN, L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of Informetrics, v. 8, n. 4, p. 895–903, 2014a.
  • BORNMANN, L. Validity of altmetrics data for measuring societal impact: A study using data from Altmetric and F1000Prime. Journal of Informetrics, v. 8, n. 4, p. 935–950, 2014b.
  • BORREGO, Á. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. Profesional de la Informacion, v. 23, n. 4, p.
  • 352–358, 2014.
  • CINTRA, P. R.., DA COSTA, J. O. P. Altmetria: questionamentos ao paradigma vigente para avaliação da produção científica. Informação and Informação, v. 23, n. 3, p. 160-176, 2018.
  • CINTRA, P. R.., DA SILVA, M. D. P.., FURNIVAL, A. C. Uso do inglês como estratégia de internacionalização da produção científica em Ciências Sociais Aplicadas: estudo de caso na SciELO Brasil. Em Questão, v. 26, n. 1, p. 17-41, 2020.
  • CINTRA, P. R.., FURNIVAL, A. C.., MILANEZ, D. H. Vantagens de citação do acesso aberto em periódicos selecionados da Ciência da Informação: uma análise ampliada aos indicadores altmétricos. Informação and Informação, v. 22, n. 1, p. 129-149, 2017.
  • COSTAS, R.., ZAHEDI, Z.., WOUTERS, P. Do “altmetrics” correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, v. 66, n. 10, p. 2003-2019, 2015.
  • DIDEGAH, F.., BOWMAN, T. D.., HOLMBERG, K. On the differences between citations and altmetrics: An investigation of factors driving altmetrics versus citations for finnish articles. Journal of the Association for information Science and Technology, v. 69, n. 6, p. 832-843, 2018.
  • DROESCHER, F. D.., SILVA, E. L. O pesquisador e a produção científica. Perspectivas em Ciência da Informação, v. 19, n. 1, p.170-189, 2014.
  • ELÉSPURU BRICEÑO, L.., HUAROTO, L. Los repositorios institucionales como herramientas para medir los indicadores Altmetrics: experiencia de la Universidad Peruana de Ciencias Aplicadas (UPC). In: CONGRESO INTERNACIONAL DE BIBLIOTECAS UNIVERSITARIAS, 5., 2016, Lima. Anais
  • [...]. Lima: UPC, 2016.
  • ENKHBAYAR, A.., ALPERIN, J. P. Challenges of capturing engagement on Facebook for Altmetrics. arXiv preprint arXiv:1809.01194, 2018.
  • ESTENSSORO, E. et al., Research in Latin America: opportunities and challenges. Intensive Care Medicine, v. 42, n. 6, p. 1045-1047, 2016.
  • FANG, Z. et al. An extensive analysis of the presence of altmetric data for Web of Science publications across subject fields and research topics. Scientometrics, v. 124, n. 3, p. 2519-2549, 2020.
  • FRAUMANN, G. et al. Twitter presence and altmetrics counts of SciELO Brazil Journals. The 2016 Altmetrics Workshop Bucharest, Romania. 2016.
  • GÓMEZ, N. D. et al. Conocimientos y opiniones de los evaluadores investigadores respecto de las publicaciones de Acceso Abierto en Argentina, Brasil y México. In: PKP SCHOLARLY PUBLISHING CONFERENCE, 4., Mexico City, 2013. Proceedings [...]. Mexico City: UNAM, 2013.
  • GOUVEIA, F. C. A altmetria e a interface entre a ciência e a sociedade. Trabalho, Educação e Saúde, v. 14, n. 3, p. 643-645, 2016.
  • HAMMARFELT, B. Using altmetrics for assessing research impact in the humanities. Scientometrics, v. 101, n. 2, p. 1419–1430, 2014.
  • HASSAN, S. et al. Measuring social media activity of scientific literature: an exhaustive comparison of scopus and novel altmetrics big data. Scientometrics, v. 113, n. 2, p. 1037-1057, 2017.
  • HAUSTEIN, S. Twitter in scholarly communication. Altmetric Blog, Londres, 12 jun. 2018. Disponível em: https://www.altmetric.com/blog/twitter-in-scholarlycommunication/
  • HAUSTEIN, S. et al. Tweeting biomedicine: An analysis of tweets and citations in the biomedical literature. Journal of the Association for Information Science and Technology, v. 65, n. 4, p. 656-669, 2014.
  • HOWARD, J. Scholars seek better ways to track impact online. The Chronicle of Higher Education, 2jan. 2012. Disponível em: http://chronicle.com/article/As-ScholarshipGoes-Digital/130482. Acesso em: 17 jul. 2019.
  • KUHN, T. S. A estrutura das revoluções científicas. São Paulo: Perspectiva, 2007.
  • MARICATO, J. M.., LIMA, E. L. M. Impactos da altmetria: aspectos observados com análises de perfis no Facebook e Twitter. Informação e Sociedade, v. 27, n. 1, p. 137-145, 2017.
  • MARTÍNEZ-SILVEIRA, M.., ODDONE, N. Necessidades e comportamento informacional: conceituação e modelos. Ciência da Informação, Brasília, v. 36, n. 1, p. 118-127, maio/ago. 2007.
  • MAS-BLEDA, A.., THELWALL, M. Can alternative indicators overcome language biases in citation counts? A comparison of Spanish and UK research. Scientometrics, v. 109, n. 3, 2016.
  • MOHAMMADI, E.., THELWALL, M. Mendeley readership altmetrics for the social sciences and humanities: Research evaluation and knowledge flows. Journal of the Association for Information Science and Technology, v. 65, n. 8, p. 1627–1638, ago. 2014.
  • MUELLER, S. P. M. A publicação da ciência: áreas científicas e seus canais preferenciais. Revista de Ciência da Informação, v. 6, n. 1, 2005.
  • NASCIMENTO, A. G., ODDONE, N. E. O uso de altmetrics para avaliação de periódicos científicos brasileiros em Ciência da Informação. Ciência da Informação em Revista, v. 2, n. 1, 2015.
  • OLIVEIRA, T. M. et al. Altmetria e a análise das condições de interação em torno de artigos sobre políticas públicas: uma incursão metodológica. Cadernos BAD, n. 1, p. 77-85, 2018.
  • ORDUNA-MALEA, E.., LÓPEZ-CÓZAR, E. D. Demography of Altmetrics under the light of Dimensions: Locations, institutions, journals, disciplines and funding bodies in the global research framework. Journal of Altmetrics, v. 2, n. 1, 2019.
  • ORTEGA, J. L. Altmetrics data providers: A metaanalysis review of the coverage of metrics and publication. El profesional de la información (EPI), v. 29, n. 1, 2020.
  • PACKER, A. L.., MENEGHINI, R. O SciELO aos 15 anos: raison d´être, avanços e desafios para o futuro. In: PACKER, A. L. et al. (org.). SciELO – 15 anos de acesso aberto: um estudo analítico sobre acesso aberto e comunicação científica. Paris: UNESCO, 2014. p. 15-28.
  • PETERS, I. et al. Research data explored: an extended analysis of citations and altmetrics. Scientometrics, v. 107, n. 2, p. 723-744, 2016.
  • PIWOWAR, H. Value all research products. Nature, v. 493, p. 159, 2013.
  • PRIEM, J. et al. Altmetrics: a manifesto. 2010. Disponível em: http://altmetrics.org/manifesto/ Acesso em: 17 jul. 2019.
  • PRIEM, J.., GROTH, P.., TARABORELLI, D. The altmetrics collection. PLoS ONE, v. 7, n. 11, p. e48753, nov. 2012.
  • REDE SCIELO. Periódicos. 2019. Disponível em: https://www.scielo.org/pt/periodicos/listar-por-ordem-alfabetica. Acesso em: 20
  • ROBINSON-GARCÍA, N. et al. New data, new possibilities: exploring the insides of Altmetric.com. El profesional de la información, v. 23, n. 4, 2014.
  • SCIELO - Scientific Electronic Library Online. Critérios, política e procedimento para admissão e a permanência de periódicos científicos a Coleção SciELO Brasil. 2017. Disponível em: http://www.scielo.br/avaliacao/Criterios_SciELO_Brasil_versao_revisada_atuali zada_outubro_2017 1206.pdf. Acesso em: 01 nov. 2019. procedimentos para a admissão e a permanência de periódicos científicos na Coleção SciELO Brasil. 2020. Disponível em: https://www.scielo.br/avaliacao/20200500%20Criterios%20SciELO%20Brasil.pd f.
  • SPATTI, A. C.., BIN, A.., COLUGNATI, F. A. B., MENA-CHALCO, J. P.., SALLESFILHO., S. O programa de bolsas da FAPESP: uma análise altmétrica. In: CONGRESSO DE ALTMETRIA E CIÊNCIA ABERTA NA AMÉRICA LATINA, 2., Cusco, Perú, 2019. Anales [...]. Cusco: UNSAAC, 2019.
  • STADISTA. Most popular social networking platforms in Latin America as of December 2015, by unique visitors (in millions). The Statistics Portal, fev. 2016. Disponível em: https://www.statista.com/statistics/202372/latin-america-largest-social-networking-sites/. Acesso em: 19 fev. 2019.
  • TAYLOR, M. The Challenges of Measuring Social Impact Using Altmetrics. Research Trends, n. 33, jun. 2013.
  • TIRADO, A. U.., QUISPE, J. A. Estudio métrico de ALFIN en Iberoamérica: de la bibliometría a las altmetrics. Revista española de documentación científica, v. 40, n. 3, p. 3, 2017.
  • TORRES, D. Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0. Comunicar, v. XXI, n. 41, p. 53–60, 2013.
  • VANTI, N.., SANZ-CASADO, E. Altmetria: a métrica social a serviço de uma ciência mais democrática. Transinformação, v. 28, n. 3, p. 349–358, 2016.
  • WILLIAMS, A. E. Altmetrics: An overview and evaluation. Online Information Review, v. 41, n. 3, p. 311–317, 2017.
  • ZAHEDI, Z.., COSTAS, R.., WOUTERS, P. How well developed are altmetrics? A cross-disciplinary analysis of the presence of ‘alternative metrics’ in scientific publications. Scientometrics, v. 101, n. 2, p. 1491-1513, 2014.
NLP0.29
Visto 18 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2021-07-08] => 161588
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Ana Carolina Spatti] => 157444
                        )

                    [1] => Array
                        (
                            [Paulo Roberto Cintra] => 34363
                        )

                    [2] => Array
                        (
                            [Adriana Bin] => 161644
                        )

                    [3] => Array
                        (
                            [Ronaldo Ferreira de Araújo] => 8108
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/335/2021/07/oai_ojs_www_uel_br_article_41474#00020.pdf] => 161689
                        )

                )

        )

    [hasPageEnd] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [624] => 76746
                        )

                )

        )

    [hasPageStart] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [596] => 14047
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Artigo] => 3
                        )

                )

        )

    [hasSubject] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Ciência da informação] => 237157
                        )

                    [1] => Array
                        (
                            [Altmetria] => 227687
                        )

                    [2] => Array
                        (
                            [Métrica alternativa] => 8711
                        )

                    [3] => Array
                        (
                            [Scielo] => 199412
                        )

                    [4] => Array
                        (
                            [América latina] => 199432
                        )

                    [5] => Array
                        (
                            [Altmetrics] => 186806
                        )

                    [6] => Array
                        (
                            [Ciencia de la información] => 7902
                        )

                    [7] => Array
                        (
                            [Métricas alternativas] => 191756
                        )

                )

            [en] => Array
                (
                    [0] => Array
                        (
                            [Information science] => 233818
                        )

                    [1] => Array
                        (
                            [Alternative metrics] => 191755
                        )

                    [2] => Array
                        (
                            [Latin america] => 256409
                        )

                    [3] => Array
                        (
                            [Altmetrics] => 232842
                        )

                    [4] => Array
                        (
                            [Scielo] => 262979
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Altmetría] => 264011
                        )

                    [1] => Array
                        (
                            [Métricas alternativas] => 264472
                        )

                    [2] => Array
                        (
                            [Scielo] => 264473
                        )

                    [3] => Array
                        (
                            [América latina] => 256414
                        )

                )

        )

    [wasPublicationInDate] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [2021-07-08] => 264352
                        )

                )

        )

    [hasLanguageExpression] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [pt] => 232736
                        )

                )

        )

    [hasLicense] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Copyright (c)] => 232755
                        )

                    [1] => Array
                        (
                            [HTTP://CREATIVECOMMONS.ORG/LICENSES/BY/4.0] => 232768
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & informação] => 335
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00020-2021-26-2] => 161598
                        )

                )

        )

    [hasAbstract] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Objetivo: Buscando explorar o potencial da altmetria e considerando que poucos estudos abordam o impacto alternativo da produção científica da América Latina, o objetivo deste trabalho é qualificar a atenção online recebida por periódicos e artigos latino-americanos. Metodologia: A partir de uma abordagem analítico-descritiva, são analisados, via Altmetric.com, os dados altmétricos de 1211 periódicos e 18.737 artigos da Rede SciELO (Scientific Electronic Library Online) em termos de fontes da menção, área de conhecimento, país e idioma. Conclusões: A penetração da altmetria na América Latina é caracterizada por 58% dos periódicos e por 13% dos artigos. As menções predominam em periódicos de Ciências da Saúde e Biológicas e em artigos publicados em inglês, sendo o Twitter o destaque dentre as fontes de menção. Com base em indicadores de inserção, penetração e internacionalização, foi possível identificar grupos de países com perfis diferenciados.] => 0
                        )

                )

            [en] => Array
                (
                    [0] => Array
                        (
                            [Objective: Seeking to explore the potential of altmetrics and considering that few studies address the alternative impact of scientific production in Latin America, the objective of this work is to qualify the online attention received by Latin American journals and articles. Methodology: Using an analytical-descriptive approach, we analyzed altmetrics data from 1,211 journals and 18,737 articles from the SciELO Network (Scientific Electronic Library Online) in terms of sources of mention, area of knowledge, country and language. Conclusions: 58% of journals and 13% of articles represent the penetration of altmetrics in Latin America. Mentions predominate in Health and Biological Sciences journals and in articles published in English, with Twitter being the highlight among the sources of mention. Additionally, based on insertion, penetration and internationalization indicators, it was possible to identify groups of countries with different profiles.] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Objetivo: Buscando explorar el potencial de la altmetría y considerando que son pocos los estudios que abordan el impacto alternativo de la producción científica en América Latina, el objetivo de este trabajo es calificar la atención en línea que reciben las revistas y artículos latinoamericanos. Metodología: Con un enfoque analítico-descriptivo, se analizan datos altmétricos de 1211 revistas y 18,737 artículos de la Red SciELO (Scientific Electronic Library Online) en términos de fuentes de mención, área de conocimiento, país e idioma. Conclusiones: La penetración de la altmetría en América Latina se caracteriza por el 58% de las revistas y el 13% de los artículos. Predominan las menciones en revistas de Ciencias Biológicas y de la Salud y en artículos publicados en inglés, destacando Twitter entre las fuentes de mención. A partir de indicadores de inserción, penetración e internacionalización, fue posible identificar grupos de países con diferentes perfiles.] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:ojs.www.uel.br:article/41474] => 0
                        )

                    [1] => Array
                        (
                            [oai:ojs.pkp.sfu.ca:article/41474] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [http://www.uel.br/revistas/uel/index.php/informacao/article/view/41474] => 0
                        )

                    [1] => Array
                        (
                            [10.5433/1981-8920.2021v26n2p596] => 0
                        )

                    [2] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/41474] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & Informação; v. 26, n. 2 (2021); 596-624] => 0
                        )

                    [1] => Array
                        (
                            [1981-8920] => 0
                        )

                    [2] => Array
                        (
                            [Informação & Informação; v. 26 n. 2 (2021); 596-624] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Métricas alternativas para avaliação da produção científica latino-americana: um estudo da Rede SciELO] => 0
                        )

                )

            [en] => Array
                (
                    [0] => Array
                        (
                            [Alternative metrics to evaluate Latin American scientific production: a SciELO network study] => 0
                        )

                    [1] => Array
                        (
                            [Alternative metrics to evaluate Latin aAmerican scientific production: a scielo network study] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Métricas alternativas para la evaluación de la producción científica Latinoamericana: un estudio de la red SciELO] => 0
                        )

                    [1] => Array
                        (
                            [Métricas alternativas para la evaluación de la producción científica Latino Americana: un estudio de la red scielo] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [http://www.uel.br/revistas/uel/index.php/informacao/article/view/41474/pdf_1] => 0
                        )

                    [1] => Array
                        (
                            [http://www.uel.br/revistas/uel/index.php/informacao/article/downloadSuppFile/41474/30281] => 0
                        )

                    [2] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/41474/pdf_1] => 0
                        )

                    [3] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/41474/45606] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/41474] => 0
                        )

                    [1] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/41474/pdf_1] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Oai:ojs.www.uel.br:article/41474#00020] => 0
                        )

                )

        )

    [hasDOI] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [10.5433/1981-8920.2021v26n2p596] => 0
                        )

                )

        )

)