Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/84353
Título: | Detetor de conteúdo multimédia falso gerado através de algoritmos Deep Fake |
Autor(es): | Silva, Leonardo de Jesus |
Orientador(es): | Novais, Paulo |
Palavras-chave: | Conteúdo multimédia Deepfake Conteúdo sintético Deep learning Detetor Multimedia content Synthetic content Detector |
Data: | 2022 |
Resumo(s): | sociedade encontra-se a gerar um volume de dados sem precedentes na história. Apesar disso, a
desinformação tem vindo a crescer, provocando preocupações no meio jornalístico e democrático. Este
problema se tornou ainda mais evidente com os avanços tecnológicos, como a capacidade de manipular
o significado semântico de imagens, vídeos ou áudios. Os resultados destas manipulações impõem
uma dificuldade em distinguir entre conteúdo falso e original. Desta forma, os conteúdos multimédia
manipulados são chamados de deepfake. Esta nomenclatura é resultado da combinação dos termos
Deep Learning (DL) e fake.
Para solucionar tal problemática trabalhos no estado da arte apresentam diferentes algoritmos para
classificação de vídeos deepfake, dos quais utilizam-se de arquiteturas neuronais baseadas em Convolutional
Neural Network (CNN), Long Short-Term Memory (LSTM) ou redes Transformers. Há trabalhos dos
quais apresentam resultados positivos ao classificar dados deepfake criados a partir de uma determinada
técnica para geração deepfake. No entanto, estes em sua maioria não apresentam resultados quando
seus modelos são confrontados com dados gerados a partir de outra técnica deepfake distinta dos dados
utilizados no treino do modelo. Consequentemente, há um lacuna nos trabalhos para uma classificação
mais generalista independente do método utilizado para criação do conteúdo manipulado.
Desta forma, as experiências desenvolvidas nesse trabalho utilizaram redes neuronais em diferentes
estratégias. Resultando na proposta de uma solução para tal lacuna encontrada no estado da arte, a
capacidade de um modelo ao classificar um vídeo falso independente da técnica de criação. Após as
experiências escolheu-se o algoritmo de multi-classificação para a utilização no detetor. Para uma maior
precisão na análise dos vídeos, o detetor possui níveis de confiança (Não Confiável, Nada Confiável, Muito
Confiável) para cada classificação realizada. Ao validar o detetor, com vídeos das quatro técnicas deepfake
e vídeos originais, foi possível saber que o nível de confiança ”Muito Confiável”a precisão média é de 91%
quando a label era deepfake, independente da técnica (DeepFakes, Face2Face, FaceSwap e NeuralTextures)
utilizada para criá-lo, enquanto que ao rotular dados como reais com o mesmo nível de confiança
obtém um precisão de 60%. A society generates a volume of data unprecedented in history. Despite this, misinformation is growing, causing concerns that are not the best of journalism and democracy. This problem becomes even more evident with technological advances, such as the ability to manipulate or semantic meaning of images, videos, or audio. The results of these manipulations, imply difficulty in distinguishing between fake and original content. In this way, manipulated multimedia content is called deepfake. This nomenclature is the result of the combination of two terms Deep Learning (DL) and fake. To solve this problem, non state-of-the-art works present different algorithms for classifying deepfake videos, two of which use neural architectures based on Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) or Transformers networks. Some studies show positive results for classifying deepfake data generated from a given technique for generating deepfake. However, these mostly show no positive results when the models classified data generated from another deepfake technique other than two data used rather than three models. Consequently, work is lacking for a more general classification regardless of the method used to create the manipulated content. Thus, experiments developed used neural networks in different strategies. Consequently, propose a solution to a gap found in the state of the art, the ability of a model to classify a fake video independent of the creation technique. After the experiments, the algorithm chosen was multi-classification used in the detector. For greater accuracy when analyzing the videos, the classifier has confidence levels (Not Confident, Unreliable, Very Confident) for each classification performed. Thus, the detector validated with videos from the four text techniques and original videos. It was possible to know when the classifier labeled a video as deepfake with a ”Very Confident”confidence level. This classification has an average 91% chance of being correct, the unmanipulated videos it has a 60% chance. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado em Engenharia Informática |
URI: | https://hdl.handle.net/1822/84353 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DI - Dissertações de Mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Leonardo de Jesus Silva.pdf | Dissertação de Mestrado | 7,02 MB | Adobe PDF | Ver/Abrir |
Este trabalho está licenciado sob uma Licença Creative Commons