Automatic quantitative assessment of Pectus Excavatum severity using CT images and deep learning

Abstract

Pectus excavatum (PE) is the most common congenital abnormality of the thoracic cage, characterized by the inward displacement of the sternum and the adjacent costal cartilages. To assess and quantify the patient’s severity, three standard indices are extracted from computed tomography (CT) images: the Haller index; the correction index; and the asymmetry index. Currently, there is no solution to automate the extraction of these indices. The focus of this thesis is to develop an automatic system that analyzes the CT of the patient and, as a result, provides the measurements and indices of PE with accuracy and reproducibility, saving healthcare professionals’ time and increasing measurements’ reproducibility, which may ultimately improve patients’ diagnosis and care. Through the use of deep learning, a framework was developed consisting of three stages. In the first two stages, two convolution neural networks (CNNs), based on the UNet++ architecture, were used to learn the CT images’ features in order to select the optimal CT slice to take the measurements and identify the relevant eight keypoints. The final stage relies on geometric rules to calculate the measurements and indices of PE from the identified keypoints. Both automatic and manual analyses were performed on 269 CTs of 92 patients. For comparative purposes, intra-observer, inter-observer, and intra-patient variability of the estimated indices were analyzed in a subset of patients. The developed system proved to be viable, showing a good agreement with the manual approach, with small bias and narrow limits of agreement (LOA), being the results comparable with the inter-observer agreement. In the intra-patient analysis, the proposed framework outperformed the expert, showing a higher reproducibility between indices extracted from distinct CTs of the same patient. The developed system achieved an average relative error against manually extracted values of 4.09%, 5.59% and 1.91% for the Haller, correction and asymmetry indices, respectively. The results are promising, supporting the feasibility of using the developed framework for the automatic and accurate quantification of PE severity in a clinical context.

O Pectus Excavatum (PE) é a anormalidade congênita mais comum da caixa torácica, sendo caracterizada pela depressão do esterno e das cartilagens costais adjacentes. Para que seja avaliada e quantificada a gravidade da patologia num dado paciente, são calculados três índices a partir de imagens de tomografia computorizada (TAC): o índice de Haller; o índice de correção; e o índice de assimetria. Atualmente não existe solução para automatizar a extração destes índices. O foco desta tese consiste no desenvolvimento de um sistema automático que analisa a TAC do paciente e, como resultado, calcula as medidas e índices relativos ao PE com precisão e reprodutibilidade, minimizando desta forma o tempo despendido pelos profissionais de saúde e aumentando a reprodutibilidade das medidas, o que pode, em última análise, melhorar o diagnóstico e o cuidado dos pacientes. Por meio de técnicas de aprendizagem profunda, foi desenvolvida uma framework composta por três blocos. Nos primeiros dois blocos, duas redes neuronais convolucionais, baseadas na arquitetura UNet++, foram utilizadas para aprender as características das imagens da TAC e, assim, selecionar o corte axial da TAC ideal para extrair as medidas e identificar os oito pontos-chave para o cálculo destas. Na etapa final, através de regras geométricas, são calculadas as medidas e os índices do PE a partir dos oito pontos-chave identificados. A estratégia proposta foi validada com o recurso a 269 TACs de 92 pacientes, e comparada com a abordagem manual. Para fins comparativos, a variabilidade intra-observador, inter-observador e intrapaciente dos índices estimados foi analisada um subconjunto de pacientes. O sistema desenvolvido mostrou-se viável, apresentando uns limites de concordância estreitos com a abordagem manual, e com resultados comparáveis com a variabilidade inter-observador. Na análise intra-paciente, a framework proposta superou o especialista, obtendo uma maior reprodutibilidade entre índices extraídos de TACs distintas de um mesmo paciente. O sistema desenvolvido obteve, quando comparado com valores extraídos manualmente, um erro relativo médio de 4,09% para o índice de Haller, de 5,59% para o índice de correção e de 1,91% para o índice de assimetria. Os resultados são promissores, comprovando o potencial da framework desenvolvida para a quantificação precisa e automática da severidade do PE no contexto clínico.