Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/92637
Título: | Scan metrics for Static Application Security Testing (SAST) |
Outro(s) título(s): | Métricas de scan para Static Application Security Testing (SAST) |
Autor(es): | Balsa, Ana Maria Carvalho |
Orientador(es): | Santos, Henrique |
Palavras-chave: | SAST Software quality SDLC Quality metrics Ciclo de vida do desenvolvimento de software Qualidade do software |
Data: | 11-Jan-2024 |
Resumo(s): | In today’s business landscape, safeguarding sensitive data is paramount due to the growing risk of cyber threats.
Despite their incredible potential, technologies like AI, 5G, and blockchain come with security challenges that need to
be addressed. Security failures can result in substantial losses, emphasizing the need for a standardized definition
of cybersecurity. Vulnerability scanning tools like Static Application Security Testing (SAST), integrated into CI/CD
processes, help detect code vulnerabilities, enhancing overall software security. The main goal of this dissertation is
to establish criteria for assessing the quality of scans performed by SAST tools, with the ultimate goal of enhancing
software quality. To achieve this goal, the dissertation will explore various security testing techniques, including SAST
tools, identify essential metrics and their relevance across different scan phases, develop a comprehensive formula
for quantifying the overall scan quality using these metrics, create techniques for metric extraction, and finally,
apply this formula to guide the decisions of Quality Assurance (QA) team during software releases. This research
addresses a critical gap in evaluating the quality of SAST scans, which is essential given the increasing demand
for high-quality software products. To accomplish this goal, the approach involved the development of a service
named CxScanQuality, aimed at evaluating project scan quality based on SAST log files. CxScanQuality integration
was planned within a platform responsible for assessing the overall quality of SAST products used by the QA team,
along with integration into Continuous Integration (CI) pipelines. To assess scan quality through CxScanQuality,
it was essential to identify the set of characteristics contributing to it. These characteristics were segmented into
recognition coverage, DOM structure, and query execution. Based on that, raise for each component these quality
factors: Coverability, Domability, and Querability. The scan quality was an aggregated metric, representing the
sum of these quality factors, each with its specific impact on scan quality. Following this service’s integration, the
results show that the overall scan quality across the 23 languages and 160 projects is high, with an average score
of 89.07%. This master’s dissertation emphasizes that scan quality extends beyond result accuracy. These findings
are precious for the QA team, as they provide relevant data on scan quality for all projects in the organization. These
results also introduce a new method for ensuring the quality of the SAST product, ultimately contributing to enhanced
software quality. No mundo empresarial atual, proteger dados sensíveis é crucial devido ao crescente perigo de ameaças cibernéticas. Tecnologias como Inteligência Artificial, 5G e blockchain, embora promissoras, enfrentam desafios de segurança. Falhas na área de desenvolvimento de software podem causar perdas monetárias significativas, destacando a necessidade de normas de cibersegurança. Ferramentas de análise estática, como o SAST, integradas nos processos de CI/CD, detetam vulnerabilidades no código-fonte, melhorando a segurança do software. Posto isto, esta dissertação tem como objetivo principal estabelecer critérios de avaliação da qualidade dos scans realizados por ferramentas SAST, com o propósito último de aprimorar a qualidade do software. Para alcançar este objetivo, a dissertação explorará diversas técnicas de teste de segurança, incluindo ferramentas SAST, identificará métricas essenciais e a sua relevância nas diferentes fases de scan, conceberá uma fórmula abrangente para quantificar a qualidade global dos scans com base nessas métricas, desenvolverá técnicas de extração dessas métricas e, por fim, aplicará essa fórmula para orientar as decisões da equipa de Garantia de Qualidade durante os lançamentos de novas versões do produto SAST. A ausência de literatura sobre a avaliação da qualidade dos scans do SAST foi a motivação central desta dissertação, uma vez que a qualidade destes scans é fundamental no contexto do crescente interesse em software de alta qualidade. Assim, o serviço CxScanQuality foi concebido para avaliar a qualidade dos scans com base nos logs fornecidos pelo SAST após a análise do projeto. Este serviço integra-se em dois pontos cruciais: na plataforma de avaliação geral de produtos SAST utilizada pela equipa de Garantia de Qualidade e nas pipelines de CI. Para avaliar a qualidade dos scans, identificaram-se três componentes críticas: cobertura de reconhecimento do código-fonte, estrutura DOM e execução de consultas por vulnerabilidades. Definiram-se fatores de qualidade para cada componente, a saber, Coverability, Domability and Querability. A qualidade do scan é uma métrica agregada, refletindo a soma ponderada desses fatores, cada um com o seu impacto específico na qualidade global do scan. Após a implementação deste serviço, os resultados revelaram uma média de 89.07% na qualidade global dos scans, um valor considerado positivo para esta métrica. Esta avaliação abrangeu 23 linguagens de programação e 160 projetos. Portanto, esta dissertação destaca que a qualidade dos scans de SAST não se limita à precisão dos resultados do SAST, fornecendo informações relevantes para a equipa de Garantia de Qualidade, abarcando todos os projetos da empresa. Além disso, esses resultados introduzem um novo método para garantir a qualidade dos produtos SAST, contribuindo para a melhoria da qualidade do software. |
Tipo: | Dissertação de mestrado |
Descrição: | Relatório de dissertação de mestrado integrado em Engineering and Management of Information Systems |
URI: | https://hdl.handle.net/1822/92637 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DSI - Engenharia e Gestão de Sistemas de Informação |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Ana Maria Carvalho Balsa.pdf | Relatório | 1,7 MB | Adobe PDF | Ver/Abrir |
Este trabalho está licenciado sob uma Licença Creative Commons