Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/84318
Título: | Skeleton-based action recognition in industrial settings |
Outro(s) título(s): | Reconhecimento de ações em ambiente industrial com base no esqueleto humano |
Autor(es): | Fernandes, Filipe Barbosa |
Orientador(es): | Louro, Luís Faria, Carlos André Oliveira |
Palavras-chave: | Skeleton-based Action recognition Collaborative robotics Industrial environment Esqueleto humano Reconhecimento de ações Robótica colaborativa Ambiente industrial |
Data: | 2022 |
Resumo(s): | Nowadays, with the evolution of industry, collaborative robots emerged, which are smaller, safer and
able to share the workspace with human operators, however the human-robot interaction is limited.
This dissertation proposes an easily integrated system in a collaborative robot capable of making the
robot perceive, with low latency, which actions the human is performing.
The implementation of such a system considers a vision system, which is oriented towards the human,
powered with a deep learning model capable of accurately identifying, in the shortest possible time, the
action performed by the human. In this dissertation a Kinect v2 camera from Microsoft was used, coupled
with Openpose, which provides an estimation of the human skeleton pose in real-time.
The use of a system capable of extracting information from the human skeleton in real time in conjunction
with the deep learning algorithm, allows the extracting of high-level features of human movement.
This discriminative informations allows a highly accurate classification, robust throughout a short period
of time.
Recently, human pose classification has been the subject of research and application. However, data
availability is scarce, especially in industrial environment. Therefore, in the context of this proposal, it was
necessary to create a dataset based on a work-cell to train the neural network.
The main contributions of this dissertation are: a comprehensive list of several state-of-the-art methods
for the skeleton-based human action recognition problem for offline and online detection, a dataset settled
on a work-cell for action recognition in industrial environment, a 3D skeleton viewer for better understanding
of the skeleton motion, and a neural network trained for action recognition that classifies the action in less
than 200 milliseconds with high accuracy. Atualmente, com a evolução da indústria, surgiram os robôs colaborativos, que são mais pequenos, seguros e capazes de partilhar o espaço de trabalho com operadores humanos, no entanto a interação humano-robô é limitada. Esta dissertação propõe um sistema de fácil integração num robô colaborativo capaz de fazer o robô identificar, com baixa latência, quase em tempo real, que ações o humano está a desempenhar. A implementação de tal sistema considera um sistema de visão, o qual está orientado para o humano, aliado a um modelo de deep learning capaz de identificar com precisão, no menor tempo possível, a ação executada pelo ser humano. Foi usada um câmara Kinect v2 da Microsoft, aliada ao Openpose, que é capaz de estimar a posição do esqueleto humano em tempo real. A utilização de um sistema capaz de extrair informação do esqueleto humano em tempo real em conjunto com o algoritmo de deep learning, permite extrair características de alto nível modeladas para o problema de deteção do movimento humano, enquanto é mantida uma classificação muito precisa num curto espaço de tempo. Recentemente, a classificação da pose humana tem sido alvo de bastante investigação e aplicação. Contudo, a disponibilidade dos dados é escassa, especialmente em ambiente industrial. Para tal, no contexto desta proposta, foi necessário criar um conjunto de dados baseado numa célula de trabalho para treinar a rede neural. As principais contribuições desta dissertação são: uma lista de vários métodos do atual estado da arte para o reconhecimento da acções com base no esqueleto human para a detecção offline e online, um dataset baseado numa célula de trabalho para o reconhecimento da acções em ambiente industrial, um visualizador de esqueleto 3D para melhor compreensão do movimento do esqueleto e uma rede neuronal treinada para o reconhecimento da acções que classifica a acção em menos de 200 milissegundos, com alta precisão. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado em Engenharia Eletrónica Industrial e Computadores (área de especialização em Controlo, Automação e Robótica) |
URI: | https://hdl.handle.net/1822/84318 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DEI - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Filipe Barbosa Fernandes.pdf | Dissertação de Mestrado | 16,67 MB | Adobe PDF | Ver/Abrir |
Este trabalho está licenciado sob uma Licença Creative Commons