Skeleton-based action recognition in industrial settings

Abstract

Nowadays, with the evolution of industry, collaborative robots emerged, which are smaller, safer and able to share the workspace with human operators, however the human-robot interaction is limited. This dissertation proposes an easily integrated system in a collaborative robot capable of making the robot perceive, with low latency, which actions the human is performing. The implementation of such a system considers a vision system, which is oriented towards the human, powered with a deep learning model capable of accurately identifying, in the shortest possible time, the action performed by the human. In this dissertation a Kinect v2 camera from Microsoft was used, coupled with Openpose, which provides an estimation of the human skeleton pose in real-time. The use of a system capable of extracting information from the human skeleton in real time in conjunction with the deep learning algorithm, allows the extracting of high-level features of human movement. This discriminative informations allows a highly accurate classification, robust throughout a short period of time. Recently, human pose classification has been the subject of research and application. However, data availability is scarce, especially in industrial environment. Therefore, in the context of this proposal, it was necessary to create a dataset based on a work-cell to train the neural network. The main contributions of this dissertation are: a comprehensive list of several state-of-the-art methods for the skeleton-based human action recognition problem for offline and online detection, a dataset settled on a work-cell for action recognition in industrial environment, a 3D skeleton viewer for better understanding of the skeleton motion, and a neural network trained for action recognition that classifies the action in less than 200 milliseconds with high accuracy.

Atualmente, com a evolução da indústria, surgiram os robôs colaborativos, que são mais pequenos, seguros e capazes de partilhar o espaço de trabalho com operadores humanos, no entanto a interação humano-robô é limitada. Esta dissertação propõe um sistema de fácil integração num robô colaborativo capaz de fazer o robô identificar, com baixa latência, quase em tempo real, que ações o humano está a desempenhar. A implementação de tal sistema considera um sistema de visão, o qual está orientado para o humano, aliado a um modelo de deep learning capaz de identificar com precisão, no menor tempo possível, a ação executada pelo ser humano. Foi usada um câmara Kinect v2 da Microsoft, aliada ao Openpose, que é capaz de estimar a posição do esqueleto humano em tempo real. A utilização de um sistema capaz de extrair informação do esqueleto humano em tempo real em conjunto com o algoritmo de deep learning, permite extrair características de alto nível modeladas para o problema de deteção do movimento humano, enquanto é mantida uma classificação muito precisa num curto espaço de tempo. Recentemente, a classificação da pose humana tem sido alvo de bastante investigação e aplicação. Contudo, a disponibilidade dos dados é escassa, especialmente em ambiente industrial. Para tal, no contexto desta proposta, foi necessário criar um conjunto de dados baseado numa célula de trabalho para treinar a rede neural. As principais contribuições desta dissertação são: uma lista de vários métodos do atual estado da arte para o reconhecimento da acções com base no esqueleto human para a detecção offline e online, um dataset baseado numa célula de trabalho para o reconhecimento da acções em ambiente industrial, um visualizador de esqueleto 3D para melhor compreensão do movimento do esqueleto e uma rede neuronal treinada para o reconhecimento da acções que classifica a acção em menos de 200 milissegundos, com alta precisão.