Desenvolvimento de uma ferramenta automatizada para consolidar informação sobre freguesias portuguesas

Abstract

A colossal expansão da internet é responsável por uma criação substancial de conhecimento que deve ser guardado e mantido em bases de dados centralizadas que por sua vez também aumentam em tamanho e complexidade. Manter e actualizar as informações armazenadas nas bases de dados não pode ser feito de forma eficiente pelos seres humanos por si só; ferramentas automatizadas têm sido usadas há algum tempo, com vários graus de sucesso. Uma das primeiras ferramentas de software a surgir foi o "web crawler", que é a base de como os motores de busca trabalham. Outra classe importante de ferramentas, chamada "internet bots", ou simplesmente "bots" (da palavra "robot"), é usado para ajudar os humanos a gerir grandes quantidades de dados. Apesar da Wikipédia usar bots há mais de 10 anos, as páginas web de freguesias portuguesas estão frequentemente desactualizadas ou têm informações insuficientes. Além disso, os dados que podem ser utilizados para actualizar estas páginas web estão espalhados por várias fontes e têm um formato que não permite uma fácil comparação entre duas ou mais freguesias. Este trabalho descreve o desenvolvimento de uma ferramenta automatizada para reunir informações de várias fontes (online e offline) sobre freguesias portuguesas, seguindo os passos principais da Engenharia de Software, isto é, especificação de requisitos, desenho, implementação e testes. O resultado deste trabalho específico para um caso em particular demonstra a construção de uma ferramenta simples e acessível tanto a utilizadores básicos como a avançados, de maneira a usá-la para extrair informações sobre freguesias portuguesas.

The remarkable growth of the Internet accounts for a substantial creation of knowledge. This knowledge is stored in centralized databases, which have increased in size and complexity. Maintaining and updating the information stored in databases cannot be done efficiently by humans alone; automated tools have been used for quite some time with various degrees of success. One of the first software tools to emerge was the "web crawler", which is the basis of how search engines work. Another important class of tools, called "internet bots" or simply “bots” (from the word “robot”), is used to help humans manage large quantities of data. Even though Wikipedia uses bots for over 10 years, the web pages of Portuguese civil parishes are frequently outdated or have insufficient information. In addition, the data that can be used to update these web pages is scattered in various sources and in a format that does not allow an easy comparison between two or more parishes. For instance, an organization may need to compare the distribution of population from various parishes according to the number of people per family, age group or marital status. This work describes the development of an automated tool to gather information from various sources (both online and offline) about Portuguese civil parishes (“freguesias” in Portuguese), following the main steps of Software Engineering namely, requirement specification, application design and implementation, and testing. The result of this particular work for a particular case demonstrates the construction of an easy and accessible tool that both basic and advanced users can use to extract information about Portuguese civil parishes