Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/91559
Título: | Armazenamento confiável e em larga escala para aplicações compatíveis com POSIX |
Outro(s) título(s): | Fault-tolerant and large-scale storage for POSIX compliant applications |
Autor(es): | Ferreira, Alexandre José Branco |
Orientador(es): | Paulo, João Tiago Medeiros Maia, Francisco António Ferraz Martins Almeida |
Palavras-chave: | Sistema de ficheiros POSIX LSFS Gossip Escalabilidade Tolerância a faltas File system Scalability Fault tolerance |
Data: | 19-Jul-2023 |
Resumo(s): | A Internet of Things (IoT) é uma das áreas tecnológicas que necessita de sistemas distribuídos que
suportem o armazenamento e acesso à enorme quantidade de dados constantemente produzidos por
centenas a milhares de dispositivos. Até agora, a maioria dos sistemas desenvolvidos encontravam-se
adaptados a instalações em centro de dados, impulsionados pela adoção de serviços de computação em
nuvem, porém, o sistema distribuído Large Scale File System (LSFS), veio mudar o paradigma atual e
mover o armazenamento distribuído para infraestruturas totalmente descentralizadas. Este é um sistema
de ficheiros peer-to-peer não estruturado, parcialmente compatível com a interface POSIX, que permite a
realização de leituras por parte de múltiplos utilizadores, mas escritas por parte de um só utilizador. Foi
construído para atingir alta disponibilidade e resiliência e encontra-se preparado para escalar para infraes truturas do futuro. Todavia, o LSFS não apresenta operações essenciais de um sistema de ficheiros, como
a eliminação ou modificação de dados, a grande carga que é exercida sobre a rede tem consequências
negativas no sistema como um todo e a forma como este foi avaliado levanta várias questões.
Com o propósito de resolver estes desafios, desenvolveu-se o improved Large Scale File System
(iLSFS), um sistema de ficheiros que estende o sistema LSFS, dotando-o de uma melhor usabilidade, mas
preservando todas as suas características fundamentais como a escalabilidade, a resiliência e a disponi bilidade. Para isso, o sistema adota soluções, como Tombstones, que viabilizam a eliminação de dados
e a disponibilização de uma interface com maior compatibilidade com o standard POSIX, implementa
métodos, como Version Vectors, que permitem o controlo de concorrência entre múltiplos utilizadores, e
mecanismos, como caches, que ajudam a mitigar o problema de saturação da rede.
Os resultados obtidos, demonstram que o iLSFS, com todas as funcionalidades introduzidas, apre senta uma melhor usabilidade sem, no entanto, comprometer significativamente o desempenho. Quando
introduzido num caso de estudo real, demonstra-se que o sistema é capaz de escalar para ambientes de
larga escala, com centenas de nodos, e mesmo quando submetido a cenários de instabilidade, onde a
ocorrência de falhas aleatórias é a norma, o iLSFS mostra-se capaz de tolerar a falha de uma grande
quantidade de nodos de armazenamento, sem que esta provoque uma disrupção do seu funcionamento. The Internet of Things (IoT) is one of the main technological areas that widely needs distributed sys tems to accommodate the storage and access to large amounts of data, being continuously produced by hundreds to thousands of devices. Until now, most developed systems were adapted to data centers installations, driven by the adoption of the cloud, nonetheless, one system, the Large Scale File System (LSFS), is attempting to change the current model and move the distributed storage to highly decentral ized infrastructures. This is an unstructured peer-to-peer file system, partially compatible with the POSIX interface, that allows multi-user reads, but only single-user writes. It was built to achieve high availability and resilience, and was designed to scale for the infrastructures of the future. However, LSFS does not offer key operations of a traditional file system, such as deleting and modifying files, the large load that is exerted over the network has negative consequences on the system, and its evaluation raises various concerns. In order to solve these challenges, the improved Large Scale File System (iLSFS) was developed, an extension of the LSFS system, providing it with better usability, but preserving all the fundamental features, its scalability, resilience and availability. To do so, the system adopts solutions, e.g., Tombstones, which allow the development of the delete operation and the provision of a more complete POSIX interface, implements methods, such as Version vectors, which enable for concurrency control among multiple users in the file system, and mechanisms, namely caches, that help mitigate the network saturation problem. The experimental results show that iLSFS, with all its features, presents better usability, without sig nificantly compromising performance. When placed in a real case study, it is further demonstrated that the system is capable of scaling to large scale environments, with hundreds of nodes, and that even when subjected to unreliable scenarios, in which the occurrence of random failures is the norm, iLSFS proves to be capable of tolerating the failure of a large number of storage nodes, without causing the disruption of its normal operation. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado integrado em Engenharia Informática |
URI: | https://hdl.handle.net/1822/91559 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DI - Dissertações de Mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Alexandre Jose Branco Ferreira.pdf | Dissertação de mestrado | 3,61 MB | Adobe PDF | Ver/Abrir |
Este trabalho está licenciado sob uma Licença Creative Commons