Scan metrics for Static Application Security Testing (SAST)

Abstract

In today’s business landscape, safeguarding sensitive data is paramount due to the growing risk of cyber threats. Despite their incredible potential, technologies like AI, 5G, and blockchain come with security challenges that need to be addressed. Security failures can result in substantial losses, emphasizing the need for a standardized definition of cybersecurity. Vulnerability scanning tools like Static Application Security Testing (SAST), integrated into CI/CD processes, help detect code vulnerabilities, enhancing overall software security. The main goal of this dissertation is to establish criteria for assessing the quality of scans performed by SAST tools, with the ultimate goal of enhancing software quality. To achieve this goal, the dissertation will explore various security testing techniques, including SAST tools, identify essential metrics and their relevance across different scan phases, develop a comprehensive formula for quantifying the overall scan quality using these metrics, create techniques for metric extraction, and finally, apply this formula to guide the decisions of Quality Assurance (QA) team during software releases. This research addresses a critical gap in evaluating the quality of SAST scans, which is essential given the increasing demand for high-quality software products. To accomplish this goal, the approach involved the development of a service named CxScanQuality, aimed at evaluating project scan quality based on SAST log files. CxScanQuality integration was planned within a platform responsible for assessing the overall quality of SAST products used by the QA team, along with integration into Continuous Integration (CI) pipelines. To assess scan quality through CxScanQuality, it was essential to identify the set of characteristics contributing to it. These characteristics were segmented into recognition coverage, DOM structure, and query execution. Based on that, raise for each component these quality factors: Coverability, Domability, and Querability. The scan quality was an aggregated metric, representing the sum of these quality factors, each with its specific impact on scan quality. Following this service’s integration, the results show that the overall scan quality across the 23 languages and 160 projects is high, with an average score of 89.07%. This master’s dissertation emphasizes that scan quality extends beyond result accuracy. These findings are precious for the QA team, as they provide relevant data on scan quality for all projects in the organization. These results also introduce a new method for ensuring the quality of the SAST product, ultimately contributing to enhanced software quality.

No mundo empresarial atual, proteger dados sensíveis é crucial devido ao crescente perigo de ameaças cibernéticas. Tecnologias como Inteligência Artificial, 5G e blockchain, embora promissoras, enfrentam desafios de segurança. Falhas na área de desenvolvimento de software podem causar perdas monetárias significativas, destacando a necessidade de normas de cibersegurança. Ferramentas de análise estática, como o SAST, integradas nos processos de CI/CD, detetam vulnerabilidades no código-fonte, melhorando a segurança do software. Posto isto, esta dissertação tem como objetivo principal estabelecer critérios de avaliação da qualidade dos scans realizados por ferramentas SAST, com o propósito último de aprimorar a qualidade do software. Para alcançar este objetivo, a dissertação explorará diversas técnicas de teste de segurança, incluindo ferramentas SAST, identificará métricas essenciais e a sua relevância nas diferentes fases de scan, conceberá uma fórmula abrangente para quantificar a qualidade global dos scans com base nessas métricas, desenvolverá técnicas de extração dessas métricas e, por fim, aplicará essa fórmula para orientar as decisões da equipa de Garantia de Qualidade durante os lançamentos de novas versões do produto SAST. A ausência de literatura sobre a avaliação da qualidade dos scans do SAST foi a motivação central desta dissertação, uma vez que a qualidade destes scans é fundamental no contexto do crescente interesse em software de alta qualidade. Assim, o serviço CxScanQuality foi concebido para avaliar a qualidade dos scans com base nos logs fornecidos pelo SAST após a análise do projeto. Este serviço integra-se em dois pontos cruciais: na plataforma de avaliação geral de produtos SAST utilizada pela equipa de Garantia de Qualidade e nas pipelines de CI. Para avaliar a qualidade dos scans, identificaram-se três componentes críticas: cobertura de reconhecimento do código-fonte, estrutura DOM e execução de consultas por vulnerabilidades. Definiram-se fatores de qualidade para cada componente, a saber, Coverability, Domability and Querability. A qualidade do scan é uma métrica agregada, refletindo a soma ponderada desses fatores, cada um com o seu impacto específico na qualidade global do scan. Após a implementação deste serviço, os resultados revelaram uma média de 89.07% na qualidade global dos scans, um valor considerado positivo para esta métrica. Esta avaliação abrangeu 23 linguagens de programação e 160 projetos. Portanto, esta dissertação destaca que a qualidade dos scans de SAST não se limita à precisão dos resultados do SAST, fornecendo informações relevantes para a equipa de Garantia de Qualidade, abarcando todos os projetos da empresa. Além disso, esses resultados introduzem um novo método para garantir a qualidade dos produtos SAST, contribuindo para a melhoria da qualidade do software.