Biometric analysis of behaviours in serious games

Abstract

This document is a Master’s Dissertation, within the scope of data analysis for visualisation and exploration of knowledge in the health area. The thesis herein described is part of the second year of the Master’s in Informatics Engineering, and it was held at the University of Minho in Braga, Portugal. The main objective of this project is to combine the data measuring the performance of a patient when he is playing a specific game with the data collected at the same time from some biometric sensors so that it is possible to apply data analysis algorithms in order to discover new relationships between the data. It is also intended that, through adequate visualisation, knowledge can be created. Data collection was carried out in partnership with the Centro Neurosensorial de Braga. For data collection, initially, it was used an emotion recognition activity, a test that measures the processing speed (quick naming) and two tests to better characterise the child in terms of memory and attention capacity. Initially, a small analysis was made of the data that were extracted through the platform provided by the Centro Neurosensorial de Braga. After a mass data collection, its analysis was carried out. It was possible to verify, analytically, that as the memory deficit increases, among others, the number of fixations, the number of regressions, the time taken to perform the rapid naming test increases. Regarding the emotions expressed during the rapid naming test, it was possible to verify that respondents who expressed happiness during the test show a better memory capacity, while children who expressed emotions of surprise or sadness are subject to memory deficit.

Este documento é uma Dissertação de Mestrado, no âmbito da análise de dados para visualização e exploração do conhecimento na área da saúde. A tese aqui descrita insere-se no segundo ano do Mestrado em Engenharia Informática e foi realizada na Universidade do Minho em Braga, Portugal. O principal objetivo deste projeto é combinar os dados que medem o desempenho de um paciente durante a realização um jogo específico com os dados recolhidos, ao mesmo tempo, de alguns sensores biométricos, para que seja possível aplicar algoritmos de análise de dados a fim de descobrir novas relações entre os dados. Pretende-se também que, através de uma visualização adequada, o conhecimento possa ser criado. A recolha de dados foi realizada em parceria com o Centro Neurosensorial de Braga. Para a recolha de dados, inicialmente, opta-se por usar uma atividade de reconhecimento de emoções, uma prova que mede a velocidade de processamento (nomeação rápida) e duas provas para caracterizar melhor a criança quanto à sua capacidade de memória e de atenção. Inicialmente, foi feito uma pequena análise dos dados que eram extraídos através da plataforma disponibilizada pelo Centro Neurosensorial de Braga. Depois de uma recolha de dados em massa, foi feita a sua análise. Foi possível verificar, analiticamente, que à medida que aumenta o défice de memória aumenta, entre outros, o número de fixações, o número de regressões, o tempo de realização da prova da nomeação rápida. Em relação às emoções expressas durante a prova de nomeação rápida, foi possível verificar que os respondentes que expressaram felicidade durante a prova mostram uma melhor capacidade de memória, enquanto as crianças que expressaram emoção de surpresa ou tristeza têm tendência a ter uma menor capacidade de memória.