Pervasive Modular Data Science - otimização e interoperabilidade

Abstract

Num contexto de avanços tecnológicos, a criação constante de conjuntos de dados tornou-se uma realidade marcante na sociedade atual. Neste cenário, a IOTech concebeu o ioScience com o objetivo de superar as dificuldades inerentes à análise em tempo real, proporcionando soluções eficazes para o tratamento de conjuntos de dados complexos e variados. Assim, procurando otimizar esta plataforma no âmbito do projeto ioCity, a IOTech precisa que ela seja melhorada ao nível dos módulos de interoperabilidade, visualização e previsão. Durante este projeto, foram aplicadas diferentes metodologias: Design Science Research, no que diz respeito à investigação, e a framework SCRUM e o CRISP-DM, no que diz respeito ao desenvolvimento da componente prática. Na primeira fase desta dissertação, foram adquiridos os conceitos necessários para o seu desenvolvimento, como, por exemplo, Data Science e Data Mining, juntamente com uma compreensão da patente ioScience. Após a fase inicial, foi iniciada a componente prática desta dissertação, na qual foi possível responder positivamente à questão de pesquisa "Qual a viabilidade de integrar um módulo preditivo no ioScience, seguindo as regras de construção deste?" com a implementação do módulo preditivo no ioScience, segundo as regras do mesmo, e a subsequente alteração na arquitetura da solução. Além disso, os demais objetivos do trabalho foram alcançados com a obtenção dos seguintes resultados: Implementação do Módulo Preditivo no ioScience; Alteração na arquitetura da solução; Otimização e implementação de componentes visuais no ioScience; Otimização e implementação de funcionalidades no ioScience; Reorganização no código; Teste utilizando dados o projeto do ioCity; Elaboração de 24 modelos de previsão; e Criação da API de previsão em Python. De forma geral, pode se afirmar que este trabalho resultou na apresentação de um protótipo aprimorado da plataforma. Para este caso de estudo e como prova de conceito, a empresa IOTech foi utilizada, uma vez que esta foi responsável por fornecer os dados necessários para apoiar esta dissertação.

In a context of technological advances, the constant creation of data sets has become a marked reality in today's society. In this scenario, IOTech designed ioScience with the aim of overcoming the difficulties inherent in real-time analysis, providing effective solutions for handling complex and varied data sets. In order to optimize this platform as part of the ioCity project, IOTech needs to improve its interoperability, visualization and forecasting modules. During this project, different methodologies were applied: Design Science Research for the research, and the SCRUM framework and CRISP-DM for the development of the practical component. In the first phase of this dissertation, the concepts necessary for its development were acquired, such as Data Science and Data Mining, along with an understanding of the ioScience patent. After the initial phase, the practical component of this dissertation began, in which it was possible to positively answer the research question "What is the viability of integrating a predictive module into ioScience, following its construction rules?" with the implementation of the predictive module in ioScience, according to its rules, and the subsequent change in the solution's architecture. In addition, the other objectives of the work were achieved with the following results: Implementation of the Predictive Module in ioScience; Change in the solution's architecture; Optimization and implementation of visual components in ioScience; Optimization and implementation of functionalities in ioScience; Reorganization of the code; Testing using data from the ioCity project; Development of 24 prediction models; and Creation of the prediction API in Python. In general, it can be stated that this work resulted in the presentation of an enhanced prototype of the platform. For this case study and as a proof of concept, the company IOTech was utilized since it was responsible for providing the necessary data to support this dissertation.