Resumo: No rápido avanço do cloud computing, numerosos desafios surgiram, incluindo os custos de comunicação e o overhead de transferir informações de um host para outro, conhecido como overhead de comunicação. Para mitigar esses problemas e reduzir os custos de comunicação, o edge computing foi desenvolvido, distribuindo o processamento para dispositivos finais ou edge. Com o avanço do hardware, começou o desenvolvimento de machine learning em grande escala, unindo o poder de recursos computacionais em dispositivos terminais com a necessidade de treinar modelos de aprendizagem de máquina usando dados sensíveis ou privados. Essa convergência levou ao desenvolvimento da aprendizagem federada, uma estratégia robusta para treinar modelos de aprendizagem de máquina de maneira distribuída, focando na proteção de dados. Neste contexto, o problema do overhead de comunicação emerge como um problema crítico que precisa ser abordado para melhorar e sustentar modelos e infraestruturas eficientes. Esta dissertação de mestrado foca em abordar o overhead de comunicação na aprendizagem federada, desenvolvendo uma taxonomia para identificar as abordagens atualmente utilizadas na literatura para resolver esse problema. Na segunda parte, propõe um algoritmo de seleção de clientes visando reduzir os custos de comunicação baseado em métricas de adequação para escolher dispositivos ou clientes para treinamento. Por último, introduz um algoritmo de poda de esparsidade para reduzir o número de parâmetros ou pesos em uma rede neural a ser compartilhada com o servidor, focando na eliminação de pesos que podem ser considerados irrelevantes. Todas essas contribuições visam abordar de maneira sistemática o problema descrito Ver menos

Abstract: With the rapid advancement of cloud computing, various challenges have emerged, including the costs associated with communication and the transfer of information from one host to another, a process known as communication overhead. To alleviate these issues and reduce communication costs, edge computing has been developed, distributing processing to end devices or the edge. Furthermore, advancements in hardware have enabled the development of large-scale machine learning. This environment of computational power at the terminal devices, combined with the need to train machine learning models with sensitive or private data, has led to the emergence of federated learning. Federated learning is an effective strategy for training machine learning models in a distributed manner with a focus on data protection. Within this context, communication overhead emerges as a significant challenge that must be addressed to improve and maintain efficient and sustainable models and infrastructure. This master's dissertation focuses on tackling the issue of communication overhead in federated learning by developing a taxonomy to identify approaches currently being utilized in the literature. Additionally, it proposes a client selection algorithm aimed at reducing communication costs based on suitability metrics for choosing appropriate devices or clients for training. Finally, it introduces a sparsity pruning algorithm to decrease the amount of parameters or weights in a neural network that are shared with the server, focusing on reducing or nullifying weights that may be considered irrelevant. All these contributions are aimed at systematically addressing the aforementioned problem. Ver menos