Article Brapci-Revistas

Web scraping em dados públicos: método para extração de dados dos gastos públicos dos vereadores da câmara municipal de Belo Horizonte

Public data Web scraping: method for extraction of data from the public expenditure of the councilors of the city hall of Belo Horizonte

Web scraping en datos públicos: método de extracción de datos de gastos públicos de concejales del consejo municipal de Belo Horizonte

Wendel Vilaça de Assis
João Victor Boechat Gomide

Objetivo: Demonstração que o método de web scraping na linguagem de programação python é capaz de extrair e transformar os dados desestruturados de custeio parlamentar do portal de transparência da Câmara Municipal de Belo Horizonte, em dados abertos estruturados. Metodologia: Está apoiada em pesquisa bibliográfica de dados públicos da Câmara Municipal de Belo Horizonte (CMBH), sob o ponto de vista de dados abertos no contexto da LAI, e análise qualitativa na extração de dados via web scraping. Resultados: Demonstra a eficácia do método de web scraping na extração de dados e na transformação em dados abertos estruturados. Isso permite o compartilhamento dos dados, possibilitando a produção de novas soluções para o protótipo de Chat Bot Sumé, apresentado neste trabalho. Conclusão: Eficácia do novo método de web scraping para extração de dados, seguida de manipulação para transformá-los em dados abertos, bem como apresentação do protótipo Chat Bot Sumé.@pt

Objective: demonstration of the web scraping method in python capable of extracting and transforming the unstructured parliamentary costing data from the transparency portal, of the belo horizonte city hall, into structured open data. methodology: it is governed by a bibliographic search of public data from the municipality of belo horizonte (cmbh), from the point of view of open data in the context of lai and qualitative analysis in the extraction of data via web scraping. results: efficacy of the web scraping method in data extraction and transformation into structured open data, which allows data sharing, enabling the production of new solutions, the chat bot sumé prototype, presented in this work. conclusion: efficacy of the new method of web scraping for data extraction, followed by manipulation to transform them into open data as well as presentation of the prototype chat bot sumé.@en
Objetivo: Demostrar que el método web scraping en el lenguaje de programación python es capaz de extraer y transformar datos de financiamiento parlamentario no estructurados del portal de transparencia del Municipio de Belo Horizonte, en datos abiertos estructurados.Metodología: Se sustenta en la investigación bibliográfica de datos públicos del Municipio de Belo Horizonte (CMBH), bajo la óptica de datos abiertos en el contexto de LAI, y análisis cualitativo en la extracción de datos vía web scraping.Resultados: Demuestra la efectividad del método web scraping para extraer datos y transformarlos en datos abiertos estructurados. Esto permite compartir datos, posibilitando la producción de nuevas soluciones para el prototipo Chat Bot Sumé, presentado en este trabajo.Conclusión: Efectividad del nuevo método de web scraping para la extracción de datos, seguido de manipulación para transformarlos en datos abiertos, así como la presentación del prototipo Chat Bot Sumé.@es

. Web scraping em dados públicos: método para extração de dados dos gastos públicos dos vereadores da câmara municipal de belo horizonte public data web scraping: method for extraction of data from the public expenditure of the councilors of the city hall of belo horizonte web scraping en datos públicos: método de extracción de datos de gastos públicos de concejales del consejo municipal de belo horizonte. Informação & informação, [????].

References

  • 5 STARS OPEN DATA. 5 Stars Open Data. 2012. Disponível em: https://5stardata.info/en/. Acesso em: 15 set. 2020.
  • ASSIS, W. V. Chat Bot Sumé: web scraping em dados governamentais para consulta de gastos públicos dos vereadores da Câmara Municipal de Belo Horizonte. Dissertação (Mestrado em Sistemas de Informação e Gestão do Conhecimento) – Faculdade de Ciências Empresariais, Universidade Fumec, Belo Horizonte, p. 90. 2021.
  • BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2011.
  • BERNERS-LEE, T. Linked Data. 2009. Disponível em: https://www.w3.org/DesignIssues/LinkedData.html. Acesso em: 18 ago. 2020.
  • BRASIL. Lei nº 12.527, de 18 de novembro de 2011. Presidência da República. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato20112014/2011/lei/l12527.htm. Acesso em: 05 set. 2020.
  • CÂMARA MUNICIPAL DE BELO HORIZONTE – CMBH, 2020a. Transparência. Belo Horizonte, 07 de julho de 2020. Disponível em: https://www.cmbh.mg.gov.br/transparencia-principal. Acesso em: 20 de junho de 2020.
  • CÂMARA MUNICIPAL DE BELO HORIZONTE – CMBH, 2020b. Custeio Parlamentar, 2020. Belo Horizonte, 07 de julho de 2020. Disponível em: https://www.cmbh.mg.gov.br/perguntas-frequentes/vereadores-sal%C3%A1riopresen%C3%A7a-custeio-do-mandato-gabinetes/como-s%C3%A3o-custeadosos. Acesso em: 20 de junho de 2020.
  • DIOUF, R.., SARR, E. N.., SALL, O.., BIRREGAH, B.., BOUSSO, M.., MBAYE, S. N. Web Scraping: State-of-the-Art and Areas of Application. In: IEEE INTERNATIONAL CONFERENCE ON BIG DATA, 7., Los Angeles, CA, USA, 2019. Proceedings […] Los Angeles: IEEE, 2019. p. 6040-6042, doi: 10.1109/BigData47090.2019.9005594.
  • EAVES, D. The Three Laws of Open Government Data, 2009. Disponível em: http://eaves.ca/2009/09/30/three-law-of-open-government-data/. Acesso em: 3 dez. 2020.
  • GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2007.
  • HERNÁNDEZ, A.., GÓMEZ VÁZQUEZ, E.., RINCÓN, C. A. B.., GARCÍA, J. M.., MALDONADO, A. C.., IBARRA-OROZCO, R. Metodologías para análisis político utilizando Web Scraping. Research in Computing Science, [S. l.], v. 95, p. 113-121, 2015. DOI: 10.13053/rcs-95-1-9.
  • LOPES, K. M. G.., ASSUMPÇÃO, R. C. Processos e solução tecnológica para implementação da lei de acesso à informação (LAI). In: CONGRESSO CONSAD DE GESTÃO PÚBLICA, 6., Brasília, 2013. Anais [...] Brasília: 2013.
  • MATTOSINHO, F. J. A. P. Thesis on Mining Product Opinions and Reviews on the Web. Technische Universitat Dresden ,2010.
  • OPEN GOVERNMENT PARTNERSHIP (OGP). Declaração de governo aberto, 2011. Disponível em: www.opengovpartnership.org/open-governmentdeclaration. Acesso em: 10 set. 2020.
  • PANDAS. About Pandas. Disponível em: https://pandas.pydata.org/about/. Acesso em: 8 de jun. 2020.
  • PYTHON SOFTWARE FOUNDATION (PSF). What is python? 2001. Disponível em: https://docs.python.org/3/faq/general.html#what-is-python. Acesso em: 18 ago. 2020.
  • RODRIGUES, J. C.., FONTES, C. Estudo de Caso “Operação Serenata de Amor”: a análise de Big Data no combate à festa dos gastos públicos. In: CONGRESO DE LA ASOCIACIÓN LATINOAMERICANA DE INVESTIGADORES DE LA COMUNICACIÓN, 14., San Pedro, 2018. Anais [...] San Pedro: Universidade da Costa Rica, 2018.Disponível em: https://www.researchgate.net/publication/323585318_Estudo_de_Caso_Operac ao_Serenata_de_Amor_a_analise_de_Big_Data_no_combate_a_festa_dos_ga stos_publicos. Acesso em: 18 out. 2020.
  • SÁ, M. I. F.., MALIN, A. M. B. Lei de Acesso à Informação: Um Estudo Comparativo com Outros Países. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 13., Rio de Janeiro, 2012. Anais [...] Rio de Janeiro: Fio Cruz, 2012.
  • YAZIGI, A. F. Dinero, política y transparencia: el imperativo democrático de combatir la corrupción. INTERNATIONAL ANTI-CORRUPTION CONFERENCE, 9., África do Sul, 1999. Anais […]. África do Sul, 1999. p. 1015.
NLP0.29
Visto 28 vezes
sem referências
Array
(
    [dateOfAvailability] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [2021-12-31] => 169301
                        )

                )

        )

    [hasAuthor] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [Wendel Vilaça de Assis] => 169942
                        )

                    [1] => Array
                        (
                            [João Victor Boechat Gomide] => 169943
                        )

                )

        )

    [hasFileStorage] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [_repository/335/2022/01/oai_ojs_www_uel_br_article_44123#00020.pdf] => 170337
                        )

                )

        )

    [hasPageEnd] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [341] => 9191
                        )

                )

        )

    [hasPageStart] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [319] => 10412
                        )

                )

        )

    [hasSectionOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Artigo] => 3
                        )

                )

        )

    [hasSubject] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informática] => 177442
                        )

                    [1] => Array
                        (
                            [Gestão da informação] => 233806
                        )

                    [2] => Array
                        (
                            [Chat bot] => 169940
                        )

                    [3] => Array
                        (
                            [Dados aberto] => 9264
                        )

                    [4] => Array
                        (
                            [Dado público] => 169941
                        )

                    [5] => Array
                        (
                            [Inteligência artificial] => 232804
                        )

                    [6] => Array
                        (
                            [Chatbot] => 234416
                        )

                    [7] => Array
                        (
                            [Dato público] => 209002
                        )

                    [8] => Array
                        (
                            [Información aberta] => 209003
                        )

                    [9] => Array
                        (
                            [Datos públicos] => 264562
                        )

                    [10] => Array
                        (
                            [Web scraping] => 261957
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Web scraping] => 201888
                        )

                    [1] => Array
                        (
                            [Información abierta] => 208999
                        )

                    [2] => Array
                        (
                            [Datos públicos] => 209000
                        )

                    [3] => Array
                        (
                            [Raspado web] => 209001
                        )

                    [4] => Array
                        (
                            [Chatbot] => 264561
                        )

                    [5] => Array
                        (
                            [Inteligencia artificial] => 234316
                        )

                )

            [en] => Array
                (
                    [0] => Array
                        (
                            [Artificial intelligence] => 186744
                        )

                    [1] => Array
                        (
                            [Government data] => 188209
                        )

                    [2] => Array
                        (
                            [Open data] => 185365
                        )

                    [3] => Array
                        (
                            [Chat bot] => 264560
                        )

                    [4] => Array
                        (
                            [Web scraping] => 261953
                        )

                )

        )

    [wasPublicationInDate] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [2021-12-31] => 236183
                        )

                )

        )

    [hasLanguageExpression] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [pt] => 232736
                        )

                )

        )

    [hasLicense] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [RESERVERD] => 234643
                        )

                )

        )

    [isPartOfSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & informação] => 335
                        )

                )

        )

    [hasIssueOf] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [ISSUE:JNL:00020-2021-26-4] => 169654
                        )

                )

        )

    [hasAbstract] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Objetivo: Demonstração que o método de web scraping na linguagem de programação python é capaz de extrair e transformar os dados desestruturados de custeio parlamentar do portal de transparência da Câmara Municipal de Belo Horizonte, em dados abertos estruturados. Metodologia: Está apoiada em pesquisa bibliográfica de dados públicos da Câmara Municipal de Belo Horizonte (CMBH), sob o ponto de vista de dados abertos no contexto da LAI, e análise qualitativa na extração de dados via web scraping. Resultados: Demonstra a eficácia do método de web scraping na extração de dados e na transformação em dados abertos estruturados. Isso permite o compartilhamento dos dados, possibilitando a produção de novas soluções para o protótipo de Chat Bot Sumé, apresentado neste trabalho. Conclusão: Eficácia do novo método de web scraping para extração de dados, seguida de manipulação para transformá-los em dados abertos, bem como apresentação do protótipo Chat Bot Sumé.] => 0
                        )

                    [1] => Array
                        (
                            [Objetivo: demostración del método web scraping en python capaz de extraer y transformar los datos no estructurados de costo parlamentario del portal de transparencia, del ayuntamiento de belo horizonte, en datos abiertos estructurados. metodología: se rige por una búsqueda bibliográfica de datos públicos del municipio de belo horizonte (cmbh), desde el punto de vista de datos abiertos en el contexto de lai y análisis cualitativo en la extracción de datos vía web scraping. resultados: eficacia del método web scraping en la extracción y transformación de datos en datos abiertos estructurados, que permite compartir datos, posibilitando la producción de nuevas soluciones, el prototipo chat bot sumé, presentado en este trabajo. conclusión: eficacia del nuevo método de web scraping para la extracción de datos, seguido de manipulación para transformarlos en open data así como presentación del prototipo chat bot sumé.] => 0
                        )

                )

            [en] => Array
                (
                    [0] => Array
                        (
                            [Objective: demonstration of the web scraping method in python capable of extracting and transforming the unstructured parliamentary costing data from the transparency portal, of the belo horizonte city hall, into structured open data. methodology: it is governed by a bibliographic search of public data from the municipality of belo horizonte (cmbh), from the point of view of open data in the context of lai and qualitative analysis in the extraction of data via web scraping. results: efficacy of the web scraping method in data extraction and transformation into structured open data, which allows data sharing, enabling the production of new solutions, the chat bot sumé prototype, presented in this work. conclusion: efficacy of the new method of web scraping for data extraction, followed by manipulation to transform them into open data as well as presentation of the prototype chat bot sumé.] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Objetivo: Demostrar que el método web scraping en el lenguaje de programación python es capaz de extraer y transformar datos de financiamiento parlamentario no estructurados del portal de transparencia del Municipio de Belo Horizonte, en datos abiertos estructurados.Metodología: Se sustenta en la investigación bibliográfica de datos públicos del Municipio de Belo Horizonte (CMBH), bajo la óptica de datos abiertos en el contexto de LAI, y análisis cualitativo en la extracción de datos vía web scraping.Resultados: Demuestra la efectividad del método web scraping para extraer datos y transformarlos en datos abiertos estructurados. Esto permite compartir datos, posibilitando la producción de nuevas soluciones para el prototipo Chat Bot Sumé, presentado en este trabajo.Conclusión: Efectividad del nuevo método de web scraping para la extracción de datos, seguido de manipulación para transformarlos en datos abiertos, así como la presentación del prototipo Chat Bot Sumé.] => 0
                        )

                )

        )

    [hasID] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [oai:ojs.www.uel.br:article/44123] => 0
                        )

                    [1] => Array
                        (
                            [oai:ojs.pkp.sfu.ca:article/44123] => 0
                        )

                )

        )

    [hasRegisterId] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://www.uel.br/revistas/uel/index.php/informacao/article/view/44123] => 0
                        )

                    [1] => Array
                        (
                            [10.5433/1981-8920.2021v26n4p319] => 0
                        )

                    [2] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/44123] => 0
                        )

                )

        )

    [hasSource] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Informação & Informação; v. 26, n. 4 (2021); 319-341] => 0
                        )

                    [1] => Array
                        (
                            [1981-8920] => 0
                        )

                    [2] => Array
                        (
                            [Informação & Informação; v. 26 n. 4 (2021); 319-341] => 0
                        )

                )

        )

    [hasTitle] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Web scraping em dados públicos: método para extração de dados dos gastos públicos dos vereadores da câmara municipal de Belo Horizonte] => 0
                        )

                )

            [en] => Array
                (
                    [0] => Array
                        (
                            [Public data Web scraping: method for extraction of data from the public expenditure of the councilors of the city hall of Belo Horizonte] => 0
                        )

                )

            [es] => Array
                (
                    [0] => Array
                        (
                            [Web scraping en datos públicos: método de extracción de datos de gastos públicos de concejales del consejo municipal de Belo Horizonte] => 0
                        )

                )

        )

    [hasUrl] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [https://www.uel.br/revistas/uel/index.php/informacao/article/view/44123/pdf_1] => 0
                        )

                    [1] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/44123/pdf_1] => 0
                        )

                )

            [nn] => Array
                (
                    [0] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/44123] => 0
                        )

                    [1] => Array
                        (
                            [https://ojs.uel.br/revistas/uel/index.php/informacao/article/view/44123/pdf_1] => 0
                        )

                )

        )

    [prefLabel] => Array
        (
            [pt] => Array
                (
                    [0] => Array
                        (
                            [Oai:ojs.www.uel.br:article/44123#00020] => 0
                        )

                )

        )

    [hasDOI] => Array
        (
            [nn] => Array
                (
                    [0] => Array
                        (
                            [10.5433/1981-8920.2021v26n4p319] => 0
                        )

                )

        )

)