Article Brapci-Autoridades

Produção, centralidade e impacto: correlações entre diferentes métricas no campo de turismo no brasil

Production, centrality, and impact: correlations between different metrics in the field of tourism in brazil

Producción, centralidad e impacto: correlaciones entre diferentes métricas en el campo del turismo en brasil

We work with the field of tourism in Brazil, more specifically the articles published in 16 journals, in 1990-2018. There are studies that build rankings of authors and institutions, through production and impact. However, there is still no research to discuss whether the use of various metrics produces rankings that are more similar or different from each other. There is also little use of centrality in the tourism field in Brazil. The objective of this work is to calculate and analyze the existing correlations between pairs of metrics from three groups (production, centrality, and impact), in absolute values and positions (in the rankings of each individual metric), for authors, institutions, and countries in 1990-1999, 1990 -2009 and 1990-2018. It is evaluated whether the metrics create rankings that, in general, are more similar or divergent from each other. In this work, data were collected manually from primary sources and they were manually reviewed. The correlations were calculated considering the absolute values and positions in the rankings. The main result is to show the construction of rankings based on a small number of metrics, mainly from the same group, can leave out important characteristics of the performance of authors, institutions, and countries. Another important result is to show that several correlations are not as high as expected, as, for example, between the metrics of centrality and impact, especially in the case of authors.@en


Trabajamos con el campo del turismo en Brasil, más específicamente los artículos publicados en 16 revistas, en 1990-2018. Hay estudios que construyen rankings de autores e instituciones, a través de la producción y el impacto. Sin embargo, todavía no hay investigaciones que discutan si el uso de varias métricas genera rankings más similares o diferentes entre sí. También hay poco uso de la centralidad en el campo del turismo en Brasil. El objetivo de estos trabajos es calcular y analizar las correlaciones existentes entre pares de métricas de tres grupos (producción, centralidad e impacto), en valores absolutos y posiciones (en los rankings de cada métrica individual), para autores, instituciones y países en 1990-1999, 1990 -2009 y 1990-2018. Se evalúa si las métricas terminan creando rankings que, en general, son más similares o divergentes entre sí. En todo el trabajo, los datos se recopilaron manualmente de fuentes primarias y se revisaron. Las correlaciones se calcularon para los valores absolutos y posiciones en los rankings. El principal resultado es mostrar que la construcción de rankings basados en un pequeño número de métricas, principalmente del mismo grupo, puede dejar fuera puntos importantes del desempeño de autores, instituciones y países. Otro resultado importante es mostrar que varias correlaciones no son tan altas como se esperaba, como, por ejemplo, entre las métricas de centralidad e impacto, especialmente en el caso de los autores.@es
Trabalha-se com o campo de turismo no Brasil, mais especificamente os artigos publicados em 16 periódicos, em 1990-2018. Há estudos que constroem rankings de autores e instituições, por meio da produção e impacto. Contudo, não há ainda pesquisas que discutam se a utilização de variadas métricas gera rankings mais semelhantes ou diferentes entre si. Há também pouca utilização da centralidade no campo de turismo no Brasil. Objetiva-se calcular e analisar as correlações existentes entre pares de métricas de três grupos (produção, centralidade e impacto), em valores absolutos e posições (nos rankings de cada métrica individual), para autores, instituições e países em 1990-1999, 1990-2009 e 1990-2018. Avalia-se se as métricas acabam por criar rankings que, de forma geral, são mais similares ou divergentes entre si. Em todo o trabalho, foram feitas, manualmente, a coleta de dados de fontes primárias e sua revisão. O cálculo das correlações foi feito para os valores absolutos e posições nos rankings. O principal resultado é mostrar que a construção de rankings baseados em um número pequeno de métricas, principalmente de um mesmo grupo, pode deixar de fora pontos importantes do desempenho de autores, instituições e países. Outro resultado importante é mostrar que várias correlações não são tão altas como esperadas, como, por exemplo, entre as métricas de centralidade e de impacto, principalmente no caso de autores.@pt

. Production, centrality, and impact: correlations between different metrics in the field of tourism in brazil producción, centralidad e impacto: correlaciones entre diferentes métricas en el campo del turismo en brasil produção, centralidade e impacto: correlações entre diferentes métricas no campo de turismo no brasil. Ciência da informação, [????].

References

  • BENCKENDORFF, P. Themes and trends in Australian and New Zealand tourism research: a social network analysis of citations in two leading journals (1994–2007). Journal of Hospitality and Tourism Management, v.16, n.1, p.1-15, 2009. DOI: 10.1375/ jhtm.16.1.1.
  • BENCKENDORFF, P.., ZEHRER, A. A network analysis of tourism research. Annals of Tourism Research, v.43, p.121-149, 2013. DOI: 10.1016/j.annals.2013.04.005.
  • BOLLEN, J. et al. A principal component analysis of 39 scientific impact measures. PLoS ONE, v.4, p.6: e6022, 2009. DOI: 10.1371/journal.pone.0006022.
  • COHEN, E. Authenticity and commoditization in tourism. Annals of Tourism Research, v.15, n.3, p.371-386, 1988. DOI: 10.1016/0160-7383(88)90028-X. DIGIAMPIETRI, L.A. et al. BraX-Ray: an x-ray of the Brazilian computer science graduate programs. PLoS ONE, v.9, n.4: e94541, 2014. DOI: 10.1371/journal.pone.0094541.
  • HALL, C.M. Publish and perish? Bibliometric analysis, journal ranking and the assessment of research quality in tourism. Tourism Management, v. 32, n.1, p.16-27, 2011. DOI: 10.1016/j. tourman.2010.07.001.
  • HIRSCH, J.E. An index to quantify an individual’s scientific research output. PNAS, v.102, n.46, p.16569-16572, 2005. DOI: 10.1073/pnas.0507655102.
  • JAMAL, T.., SMITH, B.., WATSON, E. Ranking, rating and scoring of tourism journals: interdisciplinary challenges and innovations. Tourism Management, v.29, n.1, p.66-78, 2008. DOI: 10.1016/j.tourman.2007.04.001.
  • JOGARATNAM, G. et al. An analysis of institutional contributors to three major academic tourism journals: 1992-2001. Tourism Management, v.26, n.5, p.641-648, 2005. DOI: 10.1016/j. tourman.2004.04.002.
  • KIRILENKO, A.P.., STEPCHENKOVA, S. Tourism research from its inception to present day: subject area, geography, and gender distributions. PLoS ONE, v.13, n.11: e0206820, 2018. DOI: 10.1371/journal.pone.0206820.
  • KOC, E.., BOZ, H. Triangulation in tourism research: a bibliometric study of top three tourism journals. Tourism Management Perspectives, v.12, p.9-14, 2014. DOI: 10.1016/j. tmp.2014.06.003.
  • KÖHLER, A.F.., DIGIAMPIETRI, L.A. Classificação de autores, instituições e países, por meio de métricas de produção, centralidade e impacto: o campo de turismo no Brasil (periódicos), 1990-2018. Revista Brasileira de Pesquisa em Turismo, v.15, n.3, p.1-21, 2021. DOI: 10.7784/rbtur.v15i3.2035.
  • KOSEOGLU, M.A. A new approach to journal ranking: social structure in hospitality and tourism journals. International Journal of Contemporary Hospitality Management, v.32, n.2, p.389-424, 2020. DOI: 10.1108/IJCHM-10-2017-0622. KOSEOGLU, M.A. et al. Bibliometrics studies in tourism. Annals of Tourism Research, v. 61, p.180-198, 2016. DOI: 10.1016/j. annals.2016.10.006.
  • LAW, R.., VEEN, R. The popularity of prestigious hospitality journals: a Google Scholar approach. International Journal of Contemporary Hospitality Management, v.20, n.2, p.113-125, 2008. DOI: 10.1108/09596110810852113. LETA, J.., LEWISON, G. The contribution of women in Brazilian science: a case study in astronomy, immunology and oceanography. Scientometrics, v. 57, n.3, p.339-353, 2003. DOI: 10.1023/A:1025000600840. Ci.Inf., Brasília, DF, v.50 n.2, p.159- 179, maio/ago. 2021 179
  • LINDEN, R.., BARBOSA, L.F.., DIGIAMPIETRI, L.A. “Brazilian style science” - an analysis of the difference between Brazilian and international Computer Science departments and graduate programs using social networks analysis and bibliometrics. Social Network Analysis and Mining, v.7, n.44, p.1-19, 2017. DOI: 10.1007/s13278-017-0463-0.
  • MCCARTY, C. et al. Predicting author h-index using characteristics of the co-author network. Scientometrics, v.96, p.467-483, 2013. DOI: 10.1007/s11192-012-0933-0.
  • MCKERCHER, B. A case for ranking tourism journals. Tourism Management, v.26, n.5, p.649-651, 2005. DOI: 10.1016/j. tourman.2004.04.003.
  • MCKERCHER, B. A citation analysis of tourism scholars. Tourism Management, v.29, n.6, p.1226-1232, 2008. DOI: 10.1016/j. tourman.2008.03.003.
  • MENA-CHALCO, J.P. et al. Brazilian bibliometric coauthorship networks. Journal of the Association for Information Science and Technology, v.65, n.7, p.1424-1445, 2014. DOI: 10.1002/ asi.23010.
  • MINISTÉRIO DA EDUCAÇÃO. Relatório do Qualis Periódicos. Área 27: administração pública e de empresas, ciências contábeis e turismo. Brasília: Ministério da Educação, 2019. 8p. Disponível em: . Acesso em: 30 ago. 2020.
  • NYKIEL, R.A. Handbook of marketing research methodologies for hospitality and tourism. Binghamton: The Haworth Hospitality, 2007.
  • PAGE, S.J. Academic ranking exercises: do they achieve anything meaningful? : a personal view. Tourism Management, v.26, n.5, p.663-666, 2005. DOI: 10.1016/j.tourman.2004.05.007.
  • PARK, K. et al. Hospitality and tourism research rankings by author, university, and country using six major journals: the first decade of the new millennium. Journal of Hospitality and Tourism Research, v.35, n.3, p.381-416, 2011. DOI: 10.1177/1096348011400743. RACHERLA, P.., HU, C. A social network perspective of tourism research collaborations. Annals of Tourism Research, v.37, n.4, p.1012-1034, 2010. DOI: 10.1016/j.annals.2010.03.008.
  • STRANDBERG, C. et al. Tourism research in the new millennium: a bibliometric review of literature in Tourism and Hospitality Research. Tourism and Hospitality Research, v.18, n.3, p.269-285, 2018. DOI: 10.1177/1467358416642010. TRIBE, J. The indiscipline of tourism. Annals of Tourism Research, v.24, n.3, p.638-657, 1997. DOI: 10.1016/S0160- 7383(97)00020-0.
  • TRIBE, J. Indisciplined and unsubstantiated. Annals of Tourism Research, v.27, n.3, p.809-813, 2000. DOI: 10.1016/S0160- 7383(99)00122-X. TRIBE, J. Tribes, territories and networks in the tourism academy. Annals of Tourism Research, v.37, n.1, p.7-33, 2010. DOI: 10.1016/j.annals.2009.05.001.
  • WASSERMAN, S.., FAUST, K. Social network analysis: methods and applications. 19.ed. Cambridge: Cambridge University Press, 2009.
  • WEINER, G. The academic journal: has it a future? Education Policy Analysis Archives, v.9, n.9, p.1-19, 2001. DOI: 10.14507/ epaa.v9n9.2001.
  • YAN, E.., DING, Y. Applying centrality measures to impact analysis: a coauthorship network analysis. Journal of the American Society for Information Science and Technology, v.60, n.10, p.2107-2118, 2009. DOI: 10.1002/asi.21128.
  • YE, Q.., LI, T.., LAW, R. A coauthorship network analysis of tourism and hospitality research collaboration. Journal of Hospitality and Tourism Research, v.37, n.1, p.51-76, 2013. DOI: 10.1177/1096348011425500. ZHAO, W.., RITCHIE, J.R.B. An investigation of academic leadership in tourism research: 1985–2004. Tourism Management, v.28, n.2, p.476-490, 2007. DOI: 10.1016/j. tourman.2006.03.007.
NLP0.29
Visto 15 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2021-12-31] => 169301
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [André Fontan Köhler] => 113775
                        )

                    [1] => Array
                        (
                            [Luciano Antonio Digiampietri] => 10551
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/146/2022/05/oai_ojs_revista_ibict_br_article_5421#00010.htm] => 196261
                        )

                    [1] => Array
                        (
                            [_repository/0/2022/05/oai_ojs_revista_ibict_br_article_5421#00010.pdf] => 197197
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Artigo] => 3
                        )

                )

        )

    [hasSubject] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [Information science] => 233818
                        )

                    [1] => Array
                        (
                            [Bibliometrics] => 263968
                        )

                    [2] => Array
                        (
                            [Tourism journals] => 169767
                        )

                    [3] => Array
                        (
                            [Rankings] => 184962
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Ciencias de la información] => 269813
                        )

                    [1] => Array
                        (
                            [Revistas de turismo] => 169769
                        )

                    [2] => Array
                        (
                            [Clasificaciones] => 65859
                        )

                    [3] => Array
                        (
                            [Bibliometria] => 256413
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [Bibliometria] => 237251
                        )

                    [1] => Array
                        (
                            [Ciência da informação] => 237157
                        )

                    [2] => Array
                        (
                            [Periódico de turismo] => 169770
                        )

                    [3] => Array
                        (
                            [Periódicos de turismo] => 271038
                        )

                    [4] => Array
                        (
                            [Rankings] => 271039
                        )

                )

        )

    [wasPublicationInDate] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [2021-12-31] => 236183
                        )

                )

        )

    [hasLanguageExpression] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [pt] => 232736
                        )

                )

        )

    [hasLicense] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Copyright (c)] => 232755
                        )

                    [1] => Array
                        (
                            [BY-SA/4.0] => 233561
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Ciência da informação] => 146
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00010-2021-50-] => 168770
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:10:2021-50-2] => 232635
                        )

                )

        )

    [hasAbstract] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [We work with the field of tourism in Brazil, more specifically the articles published in 16 journals, in 1990-2018. There are studies that build rankings of authors and institutions, through production and impact. However, there is still no research to discuss whether the use of various metrics produces rankings that are more similar or different from each other. There is also little use of centrality in the tourism field in Brazil. The objective of this work is to calculate and analyze the existing correlations between pairs of metrics from three groups (production, centrality, and impact), in absolute values and positions (in the rankings of each individual metric), for authors, institutions, and countries in 1990-1999, 1990 -2009 and 1990-2018. It is evaluated whether the metrics create rankings that, in general, are more similar or divergent from each other. In this work, data were collected manually from primary sources and they were manually reviewed. The correlations were calculated considering the absolute values and positions in the rankings. The main result is to show the construction of rankings based on a small number of metrics, mainly from the same group, can leave out important characteristics of the performance of authors, institutions, and countries. Another important result is to show that several correlations are not as high as expected, as, for example, between the metrics of centrality and impact, especially in the case of authors.] => 0
                        )

                    [1] => Array
                        (
                            [In the last decades, bibliometric metrics have been used to assess the quantity and quality of production in different areas of knowledge. Often, a single metric is used to rank researchers and institutions, without, in some cases, justification for its choice. There are, in literature, studies that build rankings of authors and institutions, using production and impact. However, there are still few surveys that discuss whether the use of different metrics generates rankings that are more similar or different from each other. There is also little use of centrality in the field of tourism in Brazil. We calculate and correlate a set of production, centrality, and impact metrics, which are regularly used to build rankings, through 3,887 articles from 16 Brazilian tourism journals (1990-2018). Depending on the metrics applied, the rankings created are more similar or divergent from each other. The collection of data from primary sources and their review was done manually. The calculation of correlations was made for absolute values and ranking positions. The main result is to show that rankings based on a low number of metrics, mainly from the same group, can ignore important points in the performance of authors, institutions, and countries. It is also shown that several correlations are not as high as expected (e.g., between centrality and impact metrics).] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Trabajamos con el campo del turismo en Brasil, más específicamente los artículos publicados en 16 revistas, en 1990-2018. Hay estudios que construyen rankings de autores e instituciones, a través de la producción y el impacto. Sin embargo, todavía no hay investigaciones que discutan si el uso de varias métricas genera rankings más similares o diferentes entre sí. También hay poco uso de la centralidad en el campo del turismo en Brasil. El objetivo de estos trabajos es calcular y analizar las correlaciones existentes entre pares de métricas de tres grupos (producción, centralidad e impacto), en valores absolutos y posiciones (en los rankings de cada métrica individual), para autores, instituciones y países en 1990-1999, 1990 -2009 y 1990-2018. Se evalúa si las métricas terminan creando rankings que, en general, son más similares o divergentes entre sí. En todo el trabajo, los datos se recopilaron manualmente de fuentes primarias y se revisaron. Las correlaciones se calcularon para los valores absolutos y posiciones en los rankings. El principal resultado es mostrar que la construcción de rankings basados en un pequeño número de métricas, principalmente del mismo grupo, puede dejar fuera puntos importantes del desempeño de autores, instituciones y países. Otro resultado importante es mostrar que varias correlaciones no son tan altas como se esperaba, como, por ejemplo, entre las métricas de centralidad e impacto, especialmente en el caso de los autores.] => 0
                        )

                    [1] => Array
                        (
                            [En las últimas décadas, se han utilizado medidas bibliométricas para evaluar la cantidad y la calidad de la producción en diferentes áreas del conocimiento. A menudo, se utiliza una única métrica para clasificar a los investigadores y las instituciones, sin, en algunos casos, una justificación para su elección. Hay, en la literatura, estudios que construyen rankings de autores e de instituciones, a través de la producción y del impacto. Sin embargo, todavía hay pocas investigaciones que discutan si el uso de diferentes métricas genera rankings más similares o más diferentes entre sí. También hay poco uso de la centralidad en el campo del turismo en Brasil. En este contexto, el objetivo de esta investigación es calcular y correlacionar un conjunto de métricas de producción, de centralidad e de impacto, que se utilizan regularmente para construir rankings. El estudio concentra sus análisis en 3.887 artículos, publicados en 16 revistas de turismo brasileñas (1990-2018). Se estima que, dependiendo de las métricas aplicadas, acaben creando rankings más parecidos o más divergentes entre sí. La recopilación de datos de fuentes primarias y su revisión se realizó de forma manual. El cálculo de correlaciones se realizó para valores absolutos y para posiciones de rankings. El principal resultado es mostrar que las clasificaciones basadas en un número bajo de métricas, principalmente del mismo grupo, pueden ignorar puntos importantes en el desempeño de autores, de instituciones y de países. También se muestra que varias correlaciones no son tan altas como se creía (por ejemplo, entre las métricas de centralidad y las de impacto).] => 0
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [Trabalha-se com o campo de turismo no Brasil, mais especificamente os artigos publicados em 16 periódicos, em 1990-2018. Há estudos que constroem rankings de autores e instituições, por meio da produção e impacto. Contudo, não há ainda pesquisas que discutam se a utilização de variadas métricas gera rankings mais semelhantes ou diferentes entre si. Há também pouca utilização da centralidade no campo de turismo no Brasil. Objetiva-se calcular e analisar as correlações existentes entre pares de métricas de três grupos (produção, centralidade e impacto), em valores absolutos e posições (nos rankings de cada métrica individual), para autores, instituições e países em 1990-1999, 1990-2009 e 1990-2018. Avalia-se se as métricas acabam por criar rankings que, de forma geral, são mais similares ou divergentes entre si. Em todo o trabalho, foram feitas, manualmente, a coleta de dados de fontes primárias e sua revisão. O cálculo das correlações foi feito para os valores absolutos e posições nos rankings. O principal resultado é mostrar que a construção de rankings baseados em um número pequeno de métricas, principalmente de um mesmo grupo, pode deixar de fora pontos importantes do desempenho de autores, instituições e países. Outro resultado importante é mostrar que várias correlações não são tão altas como esperadas, como, por exemplo, entre as métricas de centralidade e de impacto, principalmente no caso de autores.] => 0
                        )

                    [1] => Array
                        (
                            [Nas últimas décadas, medidas bibliométricas têm sido utilizadas, para avaliar a quantidade e a qualidade da produção nas diferentes áreas do conhecimento. Muitas vezes, uma única métrica é usada para o ranqueamento de pesquisadores e de instituições, sem que haja, em alguns casos, uma justificativa para sua escolha. Há, na literatura, estudos que constroem rankings de autores e de instituições, por meio da produção e do impacto. Contudo, há, ainda, poucas pesquisas que discutam se a utilização de métricas diferentes gera rankings mais semelhantes ou mais diferentes entre si. Há, também, baixa utilização da centralidade no campo de turismo no Brasil. Dentro desse contexto, o presente artigo, tem como objetivo calcular e correlacionar um conjunto de métricas de produção, de centralidade e de impacto, as quais são, regularmente, utilizadas para a construção de rankings. O estudo concentra suas análises em 3.887 artigos, publicados em 16 periódicos brasileiros de turismo (1990-2018). Avalia-se que, a depender das métricas aplicadas, acabam-se por criar rankings mais similares ou mais divergentes entre si. A coleta de dados de fontes primárias e sua revisão foram feitas manualmente. O cálculo das correlações foi feito para valores absolutos e para posições nos rankings. O principal resultado é mostrar que rankings baseados em baixo número de métricas, principalmente do mesmo grupo, podem ignorar pontos importantes do desempenho de autores, de instituições e de países. Mostra-se, também, que várias correlações não são tão altas quanto o esperado (por exemplo, entre métricas de centralidade e as de impacto).] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:ojs.revista.ibict.br:article/5421] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [http://revista.ibict.br/ciinf/article/view/5421] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Ciência da Informação; Vol. 50 No. 2 (2021): Regular submissions - Preprint] => 0
                        )

                    [1] => Array
                        (
                            [Ciência da Informação; v. 50 n. 2 (2021): Submissões regulares - NO PRELO] => 0
                        )

                    [2] => Array
                        (
                            [0100-1965] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Ciência da Informação; Vol. 50 Núm. 2 (2021): Sumisiónes regulares - Preprint] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [1518-8353] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [en] => Array
                (
                    [0] => Array
                        (
                            [Production, centrality, and impact: correlations between different metrics in the field of tourism in brazil] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Producción, centralidad e impacto: correlaciones entre diferentes métricas en el campo del turismo en brasil] => 0
                        )

                )

            [pt] => Array
                (
                    [0] => Array
                        (
                            [Produção, centralidade e impacto: correlações entre diferentes métricas no campo de turismo no brasil] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [http://revista.ibict.br/ciinf/article/view/5421/5433] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [https://revista.ibict.br/ciinf/article/view/5421] => 0
                        )

                    [1] => Array
                        (
                            [https://revista.ibict.br/ciinf/article/view/5421/5492] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Oai:ojs.revista.ibict.br:article/5421#00010] => 0
                        )

                )

        )

    [hasDOI] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [10.18225/ci.inf.v50i2.5421] => 0
                        )

                    [1] => Array
                        (
                            [10.18225/ci.inf.v50i2.5421.g5492] => 0
                        )

                )

        )

)