Online multi-task learning for regression problems : new methods and applications
Gabriel Ribeiro Lencione
DISSERTAÇÃO
Inglês
T/UNICAMP L545o
[Aprendizado multitarefa recursivo para problemas de regressão]
Campinas, SP : [s.n.], 2024.
1 recurso online (66 p.) : il., digital, arquivo PDF.
Orientador: Fernando José Von Zuben
Dissertação (mestrado) - Universidade Estadual de Campinas (UNICAMP), Faculdade de Engenharia Elétrica e de Computação
Resumo: Esta dissertação apresenta duas novas abordagens para problemas de regressão de Aprendizado Multitarefa (MTL, em inglês) recursivo. Utilizamos uma formulação MTL baseada em grafos de alto desempenho e desenvolvemos duas versões recursivas alternativas baseadas nas estratégias...
Ver mais
Resumo: Esta dissertação apresenta duas novas abordagens para problemas de regressão de Aprendizado Multitarefa (MTL, em inglês) recursivo. Utilizamos uma formulação MTL baseada em grafos de alto desempenho e desenvolvemos duas versões recursivas alternativas baseadas nas estratégias \textit{Weighted Recursive Least Squares} (WRLS) e \textit{Online Sparse Least Squares Support Vetor Regression} (OSLSSVR). Adotando transformações de empilhamento de tarefas, demonstramos a existência de uma única matriz que incorpora a relação de múltiplas tarefas e fornece informação estrutural a ser incorporada pelo método MT-WRLS no seu procedimento de inicialização e pelo MT-OSLSSVR na sua função de kernel multitarefa. Contrastando com a literatura existente, que se baseia principalmente na Descida de Gradiente Online (OGD, em inglês) ou em abordagens cúbicas inexatas, obtemos recursões exatas e aproximadas com um custo quadrático por instância na dimensão do espaço de entrada (MT-WRLS) ou na dimensão do dicionário de instâncias (MT-OSLSSVR). Comparamos os nossos métodos MTL online com outros concorrentes num estudo de caso real de previsão da velocidade do vento, evidenciando o ganho significativo no desempenho de ambas as abordagens propostas. No entanto, demonstra-se aqui que o OSLSSVR recentemente proposto contém passos inconsistentes na sua formulação recursiva, o que poderia ter impedido a obtenção de resultados adequados com a nossa proposta MT-OSLSSVR. Em seguida, reformulamos a proposta OSLSSVR e consideramos um estudo de caso de regressão online como referência, capaz de revelar os efeitos prejudiciais dos erros detectados na formulação. Para além disso, a versão reformulada do OSLSSVR mostra-se operacional, exibindo um elevado desempenho e uma estimação online numericamente estável. Com o objetivo de empregar a formulação MTL online em uma aplicação multitarefa adequada e dependente do tempo, este trabalho também estende o mecanismo de aprendizagem recentemente concebido chamado EVeP (\textit{Extreme Value evolving Predictor}), um preditor evolutivo baseado em regras \textit{fuzzy} e fundamentado em procedimentos inovadores para definir as partes antecedentes e consequentes das regras \textit{fuzzy} existentes. No EVeP, os grânulos de informação são recursivamente atualizados e associados a distribuições Weibull, uma generalização das distribuições gaussianas que incorpora estatísticas mais robustas para estabelecer a região de influência de cada regra fuzzy. A informação partilhada de todas as regras, numa formulação multitarefa, é adoptada para definir os parâmetros consequentes no EVeP. Dado que a formulação multitarefa é resolvida utilizando a aprendizagem em batelada e a descida do gradiente, o custo computacional por iteração tende a ser elevado, o que constitui uma preocupação nas aplicações práticas. Por isso, aqui a estrutura multi-tarefa na parte consequente das regras foi revista para incorporar a otimização convexa online, dando origem ao EVeP\_OCO. Agora, as partes antecedentes e consequentes das regras são atualizadas de forma totalmente recursiva, com uma clara redução da carga computacional por iteração, particularmente quando são considerados os piores cenários: o custo por iteração depende do número atual de regras a atualizar. Os estudos de caso são compostos por uma variedade de problemas de previsão de séries temporais de referência e demonstram o ganho significativo em termos de custo computacional por iteração, com uma redução admissível do desempenho, ao substituir um procedimento de aprendizado multitarefa em batelada por um recursivo equivalente
Ver menos
Abstract: This dissertation introduces two novel approaches for online Multi-Task Learning (MTL) Regression Problems. We employ a high performance graph-based MTL formulation and develop two alternative recursive versions based on the Weighted Recursive Least Squares (WRLS) and the Online Sparse...
Ver mais
Abstract: This dissertation introduces two novel approaches for online Multi-Task Learning (MTL) Regression Problems. We employ a high performance graph-based MTL formulation and develop two alternative recursive versions based on the Weighted Recursive Least Squares (WRLS) and the Online Sparse Least Squares Support Vector Regression (OSLSSVR) strategies. Adopting task-stacking transformations, we demonstrate the existence of a single matrix incorporating the relationship of multiple tasks and providing structural information to be embodied by the MT-WRLS method in its initialization procedure and by the MT-OSLSSVR in its multi-task kernel function. Contrasting the existing literature, which is mostly based on Online Gradient Descent (OGD) or cubic inexact approaches, we achieve exact and approximate recursions with quadratic per-instance cost on the dimension of the input space (MT-WRLS) or on the size of the dictionary of instances (MT-OSLSSVR). We compare our online MTL methods to other contenders in a real-world wind speed forecasting case study, evidencing the significant gain in performance of both proposed approaches. However, the recently proposed OSLSSVR is demonstrated here to contain inconsistent steps in its recursive formulation, which could have prevented us from achieving appropriate results with our MT-OSLSSVR proposal. We then reformulate the OSLSSVR proposal and consider an online regression case study as a benchmark, capable of revealing the harmful effects of the detected mistakes in the formulation. Besides, the reformulated version of OSLSSVR is shown to operate accordingly, exhibiting a high performance and numerically stable online estimation. Aiming at employing online MTL in a suitable time-dependent multi-task application, this work also extends the recently conceived learning mechanism called EVeP (Extreme Value evolving Predictor), an evolving fuzzy-rule-based predictor characterized by innovative procedures to define the antecedent and consequent parts of the existing fuzzy rules. In EVeP, information granules are recursively updated and associated with Weibull distributions, a generalization of Gaussian distributions which incorporates more robust statistics to establish the region of influence of each fuzzy rule. Shared information from all the rules, in a multi-task formulation, is adopted to set the consequent parameters in EVeP. Given that the multi-task formulation is solved using batch learning and gradient descent, the computational cost per iteration tends to be high, being a concern in practical applications. Therefore, here the multi-task framework at the consequent part of the rules was revised to incorporate online convex optimization, given rise to EVeP\_OCO. Now, antecedent and consequent parts of the rules are updated in a fully recursive way, with a clear reduction in the computational burden per iteration, particularly when the worst case scenarios are considered: the cost per iteration depends on the current number of rules to be updated. The case studies are composed of a variety of benchmark time series prediction problems. They demonstrate the significant gain in terms of computational cost per iteration, with an admissible reduction in performance by replacing a batch multi-task learning procedure by an online counterpart
Ver menos
Aberto
Von Zuben, Fernando José, 1968-
Orientador
Raimundo, Marcos Medeiros, 1988-
Avaliador
Silva, Emely Pujólli da, 1990-
Avaliador
Online multi-task learning for regression problems : new methods and applications
Gabriel Ribeiro Lencione
Online multi-task learning for regression problems : new methods and applications
Gabriel Ribeiro Lencione