Aprendendo múltiplas tarefas e estimando relacionamentos locais entre tarefas relacionadas [recurso eletrônico] = Learning multiple tasks and estimating local relationships among related tasks
Saullo Haniell Galvão de Oliveira
TESE
Inglês
T/UNICAMP OL4a
[Learning multiple tasks and estimating local relationships among related tasks]
Campinas, SP : [s.n.], 2022.
1 recurso online (105 p.) : il., digital, arquivo PDF.
Orientadores: Fernando José Von Zuben, André Ricardo Gonçalves
Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação
Resumo: A área de aprendizado multi-tarefa se preocupa em aprender simultaneamente múltiplas tarefas - de classificação ou regressão, por exemplo - buscando melhorar o desempenho de cada tarefa individualmente ao explorar as relações entre elas. Para se beneficiar do aprendizado em conjunto,...
Ver mais
Resumo: A área de aprendizado multi-tarefa se preocupa em aprender simultaneamente múltiplas tarefas - de classificação ou regressão, por exemplo - buscando melhorar o desempenho de cada tarefa individualmente ao explorar as relações entre elas. Para se beneficiar do aprendizado em conjunto, modela-se uma representação compartilhada entre as tarefas que pode ser utilizada de diversas formas. É possível embutir conhecimento prévio sobre o domínio das tarefas nessa representação compartilhada, aplicando minuciosamente termos de regularização nas variáveis do problema, impondo assim características desejadas nos parâmetros do modelo. Contudo, ao impor características que acreditamos serem verdadeiras na relação entre as tarefas, corre-se o risco de forçar relações entre tarefas não relacionadas ou simplesmente forçar características que não estão presentes nos dados. Quando isso ocorre, o desempenho individual das tarefas é prejudicado ao invés de melhorar, o que é conhecido como transferência negativa. Outra abordagem possível consiste em estimar as relações existentes entre as tarefas durante o processo de aprendizagem, evitando assim as armadilhas da estratégia anterior. Mesmo assim, podemos assumir premissas que não estão presentes nos dados, por exemplo: modelar a relação entre tarefas de maneira simétrica, onde a influência de uma tarefa A em uma tarefa B é semelhante à influência que a tarefa B tem na tarefa A; ou incluir todo o conjunto de atributos dos dados nas relações entre tarefas. Nesta tese apresentamos Group Asymmetric Multi-Task Learning (GAMTL), um modelo capaz de: i) estimar como as tarefas estão relacionadas de maneira interpretável; ii) considerar relações assimétricas entre tarefas; e iii) considerar relações entre tarefas que não incluem necessariamente todos os atributos presentes nos dados, podendo se restringir a relações localizadas em sub-conjuntos desses atributos. Resultados experimentais demonstram que a flexibilidade adicionada é capaz de mitigar fortemente a transferência negativa, além de recuperar relações significativas entre as tarefas em uma estrutura interpretável. A eficiência do método tambem é demonstrada na predição de \textit{scores} de testes cognitivos relacionados ao progresso da doença de Alzheimer (AD), considerando como entrada dados pré-processados a partir de imagens cerebrais. Além de obter uma bom desempenho na predição dos \textit{scores}, o método foi capaz de revelar relações entre as tarefas indicando quais regiões de interesse no cérebro fazem parte dessas relações, e que concordam com resultados independentes na literatura médica
Ver menos
Abstract: Multi-Task Learning focuses on the simultaneous learning of multiple tasks - classification or regression tasks, for example - expecting to improve performance on each task individually, by exploring relationships among them. To benefit from the joint learning procedure, we model a...
Ver mais
Abstract: Multi-Task Learning focuses on the simultaneous learning of multiple tasks - classification or regression tasks, for example - expecting to improve performance on each task individually, by exploring relationships among them. To benefit from the joint learning procedure, we model a representation structure that is shared by all tasks and can be used in multiple ways. It is possible to encode prior knowledge about the tasks into the shared representation by thoroughly using regularization terms on the problem variables, thus imposing the desired beliefs on the model’s parameters. Nevertheless, by imposing our beliefs about task relationship, we risk forcing relationships among unrelated tasks, or simply imposing particularities that are not present in task’s dataset. When it occurs, the task's individual performance deteriorates instead of improving, what is known as negative transference. It is also possible to estimate how tasks are related during the learning process, thus avoiding some pitfalls of the previous strategy. But even in this way we may assume premises that are present in the data, for instance: modeling the relationship between tasks A and B symmetrically, i.e. the influence of task A on task B is similar to the influence of task B on task A; or including all features of the dataset in the relationship among tasks. In this thesis, we present Group Asymmetric Multi-Task Learning (GAMTL), a model capable of: i) estimating how tasks are related in an interpretable manner; ii) considering asymmetric relationships among tasks; and iii) considering local relationships that are based on subsets of features, instead of imposing that relationships among tasks must involve all features. Experimental results demonstrate that the flexibility added by GAMTL mitigates negative transference, while recovering significant relationships among tasks in an interpretable transference structure. The efficiency of the method is also demonstrated in a real scenario whose goal is to predict scores of cognitive tests associated with the progress of Alzheimer’s disease (AD), taking as input pre-processed data based on cerebral imaging. Besides obtaining a good performance on the scores predictions, GAMTL was able to capture relationships among the scores indicating the regions of interest in the brain that are part of the estimated relationships. The results also agree with independent results found in medical literature
Ver menos
Von Zuben, Fernando José, 1968-
Orientador
Gonçalves, André Ricardo, 1986-
Coorientador
Boccato, Levy, 1986-
Avaliador
Raimundo, Marcos Medeiros, 1988-
Avaliador
Wolf, Denis Fernando
Avaliador
Aprendendo múltiplas tarefas e estimando relacionamentos locais entre tarefas relacionadas [recurso eletrônico] = Learning multiple tasks and estimating local relationships among related tasks
Saullo Haniell Galvão de Oliveira
Aprendendo múltiplas tarefas e estimando relacionamentos locais entre tarefas relacionadas [recurso eletrônico] = Learning multiple tasks and estimating local relationships among related tasks
Saullo Haniell Galvão de Oliveira