Analysis of human-computer interaction time series using Deep Learning

Abstract

The collection and use of data resulting from human-computer interaction are becoming more and more common. These have been allowing for the birth of intelligent systems that extract powerful knowledge, potentially improving the user experience or even originating various digital services. With the rapid scientific advancements that have been taking place in the field of Deep Learning, it is convenient to review the underlying techniques currently used in these systems. In this work, we propose an approach to the general task of analyzing such interactions in the form of time series, using Deep Learning. We then rely on this approach to develop an anti-cheating system for video games using only keyboard and mouse input data. This system can work with any video game, and with minor adjustments, it can be easily adapted to new platforms (such as mobile and gaming consoles). Experiments suggest that analyzing HCI time series data with deep learning yields better results while providing solutions that do not rely highly on domain knowledge as traditional systems.

A recolha e a utilização de dados resultantes da interação humano-computador estão a tornar-se cada vez mais comuns. Estas têm permitido o surgimento de sistemas inteligentes capazes de extrair conhecimento ex tremamente útil, potencialmente melhorando a experiência do utilizador ou mesmo originando diversos serviços digitais. Com os acelerados avanços científicos na área do Deep Learning, torna-se conveniente rever as técni cas subjacentes a estes sistemas. Neste trabalho, propomos uma abordagem ao problema geral de analisar tais interações na forma de séries temporais, utilizando Deep Learning. Apoiamo-nos então nesta abordagem para desenvolver um sistema de anti-cheating para videojogos, utilizando apenas dados de input de rato e teclado. Este sistema funciona com qualquer jogo e pode, com pequenos ajustes, ser adaptado para novas plataformas (como dispositivos móveis ou consolas). As experiências sugerem que analisar dados de séries temporais de interação humano-computador pro duz melhores resultados, disponibilizando soluções que não são altamente dependentes de conhecimento de domínio como sistemas tradicionais.