A hybrid approach based on a robotic system and playware technology to adapt and predict behaviours from children with Autism Spectrum Disorder

Abstract

Social interaction is a fundamental aspect of human experience and plays a crucial role in shaping an individual’s emotions, thoughts, and relationships with the others. It encompasses a wide range of behaviours, including speaking, listening, recognizing facial expressions, body language, and other nonverbal cues. Individuals with Autism Spectrum Disorder (ASD) can face challenges in understanding and participating in social interactions. ASD is characterized by a triad of impairments in interaction, communication, and reduced interest. Different technological tools have been employed in the supporting processes with children with ASD, for example social robots, providing the opportunities to practice social interaction and social-emotional skills in a non-threatening and supportive environment. The present thesis focus on the use of a humanoid robot to promote social interaction and communication in children with ASD cooperating in a triadic interaction with an experimenter, a robot, and an Object with Playware Technology (OPT), as object of shared attention, which will actively adapt its behaviour to the child's actions in a supervised manner. In order to fulfil this goal, in an initial step OPT devices were developed based on the expertise of professionals and they were successfully tested in pilot studies. Then, a supervised behavioural framework, consisting of three layers – Perception, Reasoning, and Actuation – was developed. This framework uses machine learning techniques to identify nonverbal actions of the child in real-time and propose possible adaptation system prompts to the experimenter, which will choose if they will be executed. The system was tested in a pilot study with game scenarios targeting emotion recognition skills. Finally, a study was conducted in order to assess if the proposed approach can promote social interaction while teaching children with ASD emotion recognition skills. Verbal and non-verbal communicative behaviours, as well as the children’s attention patterns, and the children’s performance in the game scenarios, are used as measures to evaluate the social interaction in the triadic configuration. Along the sessions, both the children’s performance and their attention levels increased. They also tended to verbalize more in the sessions where more system adaptation prompts where executed. The findings suggest that a hybrid supervised autonomous approach may enhance the social interaction of children and promote the development of emotion recognition skills in children with ASD.

A interação social é um aspeto fundamental da experiência humana e desempenha um papel crucial na formação das emoções, pensamentos e relações de um individuo com os outros. Abrange uma ampla gama de comportamentos, incluindo falar, ouvir, reconhecer expressões faciais, linguagem corporal e outros indicadores não verbais. Indivíduos com Perturbação do Espetro do Autismo (PEA) podem enfrentar desafios na compreensão e participação nas interações sociais. A PEA é caracterizada por uma tríade de comprometimentos na interação, comunicação e interesses reduzidos. Diferentes ferramentas tecnológicas têm vindo a serem usadas no apoio a crianças com PEA, por exemplo robôs sociais, fornecendo aos indivíduos com PEA oportunidades de praticar a interação social e competências socio-emocionais num ambiente controlado e não ameaçador. A presente tese foca-se no uso de um robô humanoide para promover a interação social e a comunicação em crianças com PEA, cooperando numa interação triádica com um investigador, um robô e um objeto de atenção compartilhada com tecnologia playware (OPT). O robô adapta ativamente o seu comportamento às ações da criança de forma autónoma, mas supervisionada. Para cumprir este objetivo, numa etapa inicial desenvolveram-se dispositivos OPT com base na opinião de profissionais e testaram-se com sucesso esses dispositivos em estudos piloto. De seguida, desenvolveu-se uma arquitetura comportamental supervisionada, composta por três camadas – Perceção, Raciocínio e Ação. A arquitetura proposta usa técnicas de machine learning para identificar em tempo real ações não verbais da criança e propor ao experimentador possíveis formas de adaptação do sistema, podendo o experimentador decidir se serão executadas. O sistema foi testado num estudo piloto com duas atividades que visam promover competências de reconhecimento de emoções. Por fim, conduziu-se um estudo para avaliar se a abordagem proposta pode promover a interação social e ensinar competências de reconhecimento de emoções em crianças com PEA. Para se avaliar a interação social na configuração triádica usaram-se como medidas várias métricas baseadas nos comportamentos de comunicação verbais e não verbais, padrões de atenção e de desempenho das crianças. Ao longo das sessões, aumentaram o desempenho e a atenção das crianças, tendo havido mais verbalização nas sessões onde ocorreram mais eventos de adaptação do sistema. Os resultados sugerem que a abordagem proposta pode promover a interação social e competências de reconhecimento de emoções em crianças com PEA.