Aggregation-based mining methods: from single to N-dimensional data analysis

Abstract

Aplicações nas áreas do comercio electrónico, telecomunicações, varejo, acções, bio informática, entre outras, possuem, quase que de forma natural, uma organização multidimensional e multinivel na informação com que lidam. Vários dos esforços desenvolvidos em acções de pesquisa, particularmente nas áreas de Data Warehousing e OLAP, têm sido realizados para no sentido de permitir a identificação de padrões, ditos interessantes, em diversos níveis de abstracção, usufruindo da organização multidimensional desses dados. A esta estratégia, voltada para a Análise de Dados Multidimensionais (ADM), atribui-se vulgarmente a designação de OLAPing. Em termos gerais, a ADM tem como principal objectivo projectar métodos que sejam, ao mesmo tempo, eficientes e efectivos em processos de computação de funções de agregação sobre base de dados de alta dimensionalidade. Estes casos, são um grande desafio para a ADM, particularmente pelas limitações encontradas pelos métodos tradicionais para a computação de agregações. Assim, é vulgar questionar, como desenvolver métodos que possam não somente serem orientados para os dados, mas também serem orientadas para a descoberta de padrões relevantes nestas mesmas bases de dados? Além disto, os dados e os padrões sofrem ao longo do tempo mudanças significativas. Isso levanta outro tipo de questões. Em particular, como apontar estas sensíveis evoluções tomando como partida estruturas multidimensionais? Os Métodos para Mineração baseado em Agregações (MMA) resolvem problemas como os descritos anteriormente. Esta tese posiciona-se num ponto um pouco mais à frente na pesquisa nos domínios do OLAPing. Neste sentido, foram desenvolvidos diversos métodos para mineração baseado em agregações para ADM de acordo com a dimensionalidade e também para com a análise a ser dirigida sobre os dados. Complementarmente, desenvolveram-se algumas novas medidas de interesse para auxiliar o processo de identificação de agregações interessantes durante a computação de estruturas multidimensionais.

In many applications, data contains structured information that is multidimensional and multilevel in nature, such as the ones in areas like e-commerce, telecommunications, retail, stocks, or bioinformatics. Since the last decade, we have been facing several research efforts on Data Warehousing and OLAP to get better view of multidimensional data, allowing a data-driven search for interesting patterns at several levels of data abstraction. This strategy of Multidimensional Data Analysis (MDA) on multidimensional databases is also called OLAPing. MDA relies on effective and efficient computation of aggregating functions on high dimensional databases. MDA on higher dimensional databases is not a trivial task, given the limitation of the most known aggregationbased algorithms. So, how to enhance this data-driven search with discovery-driven features smoothing the curse-of-dimensionality problem? Besides, data as well as patterns evolve over time-to-time. Thus, how to highlight those significant changes? Aggregation-based Mining Methods (AMM) takes its place helping to handle those previous issues. In summary, AMM attempts to combine ideas of aggregating and mining functions to get better mechanisms for practical and effective MDA. The work presented in this thesis lies outside of traditional work on OLAPing. These previous discussions guided us to devise several methods to achieve Multidimensional Data Mining (MDM) by applying aggregation-based mining methods. These methods cover several levels of data summarizations, from single to n-dimensional, as well as, advanced aggregation-based mining. Apart from these methods, we have also designed new measures of interestingness for evaluating significant aggregations during processing time.