Leap motion and artificial intelligence for surgical navigation: automatic hand gestures recognition

Abstract

Globalmente, 310 milhões de cirurgias são realizadas a cada ano e existe uma probabilidade de 2% a 5% de infeções do local cirúrgico. Problemas relacionados com a esterilização de equipamentos são uma das razões. Estas infeções impactam negativamente a saúde física e mental do paciente comprometendo a sua qualidade de vida. As cirurgias assistidas por computador estão a ajudar os cirurgiões a realizar operações mais seguras e a permitir aos pacientes menos tempo de recuperação. No entanto, este meio de interação geralmente depende de dispositivos de contato físico, como rato e teclado, que expõem a sala de cirúrgica a condições assépticas. O Leap Motion ultrapassa o problema dos dispositivos físicos uma vez que não precisa de nenhum tipo de interação física. Esta dissertação tem como objetivo conceber, desenvolver e validar uma abordagem de interação homem-computador intuitiva e sem contacto, baseada no reconhecimento automático de gestos manuais através do Leap Motion, seguindo uma conceção centrado no utilizador. Para tal, foi primeiramente realizado um protocolo junto dos utilizadores finais para determinar que gestos eram mais intuitivos. Posteriormente, foram criados dois grandes datasets (um de imagens da mão e um com características da mão) para alimentar modelos de inteligência artificial que pudessem reconhecer os gestos manuais de qualquer pessoa. O melhor modelo desenvolvido, com 96.25% de precisão nos dados de teste, foi baseado no algoritmo Support Vector Machine e foi, de seguida, integrado na ferramenta de reconhecimento de gestos manuais que através das previsões do modelo, executa a respetiva ação no ecrã, removendo a necessidade de periféricos com contacto físico. A partir de uma validação preliminar realizada junto de voluntários da Universidade do Minho e uma validação clínica realizada junto de cirurgiões do hospital Trofa Saúde Braga Centro, verificou-se que os utilizadores demoram mais tempo a realizar o mesmo conjunto de tarefas com a ferramenta de deteção de gestos manuais do que com o uso tradicional do rato. Contudo, foi possível observar que há uma curva de aprendizagem da ferramenta e que estes tempos diminuem com a experiência. Por fim, o System Usability Scale, que é um teste padronizado de avaliação de usabilidade, revelou que a aplicação desenvolvida atinge um resultado de 76.67 ± 9.86, porém há uma perceção de usabilidade maior na validação preliminar do que na validação clínica (67.5 ± 6.37). Através de uma última questão aberta pôde-se ainda perceber que a sensibilidade do cursor é o que precisa de mais atenção e constitui o ponto principal do trabalho futuro, juntamente com melhorias na interface gráfica.

Globally, 310 million major surgeries are performed each year, and there is a 2% to 5% chance of surgical site infections. Problems related to equipment sterilization are one of the reasons. These infections negatively affect the patient’s physical and mental health, comprising their quality of life. Computer-assisted surgeries are helping surgeons perform safer surgical interventions and allowing patients to have shorter recovery times. However, this means of interaction usually relies on physical contact devices, such as a mouse and a keyboard, which exposes the operating room to aseptic conditions. The leap motion overcomes the problem of physical devices as it does not require any kind of physical interaction. This dissertation aims to design, develop, and validate an intuitive, touch-free human-computer interaction approach based on the automatic recognition of hand gestures through Leap Motion, following an end-user-centred design. To achieve this, a protocol was carried out with end-users to determine which gestures were most intuitive. Subsequently, two large datasets were created (one with hand images and one with hand features) to feed artificial intelligence models that could later recognise anyone's hand gestures. The best model developed, with 96.25% accuracy on the test data, was based on the Support Vector Machine algorithm and was then integrated into the hand gesture recognition tool, which using the model's predictions, performs the corresponding action on the screen, removing the need for peripherals with physical contact. Preliminary validation with volunteers from the University of Minho and clinical validation with surgeons from the Trofa Saúde Braga Centro hospital showed that users take longer to perform the same set of tasks with the hand gesture recognition tool than with the traditional mouse control. However, it was possible to observe that there is a learning curve for the tool and that these times decrease with experience. Finally, the System Usability Scale, which is a standardised usability evaluation test, revealed that the application developed achieves a score of 76.67 ± 9.86, but there is a greater perception of usability in the preliminary validation than in the clinical validation (67.5 ± 6.37). A final open question also revealed that the cursor sensitivity is what needs more attention and is the focus of future work, along with improvements to the graphic interface.