Orientador: Fernando José Von Zuben

Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação

Resumo: Há uma demanda crescente por soluções avançadas de navegação autônoma em robótica móvel. Apresenta-se então um sistema de síntese e aprendizagem de controladores com tal finalidade. Propõe-se um controlador probabilístico, consistindo no acoplamento de um processo de decisão de Markov...

Resumo: Há uma demanda crescente por soluções avançadas de navegação autônoma em robótica móvel. Apresenta-se então um sistema de síntese e aprendizagem de controladores com tal finalidade. Propõe-se um controlador probabilístico, consistindo no acoplamento de um processo de decisão de Markov parcialmente observável (POMDP) com um classificador logístico multinomial. A parametrização empregada para o POMDP inspira-se numa proposta anterior de controle de robô por meio de redes imunológicas artificiais, que mostrou apresentar flexibilidade e capacidade de representação de conhecimento na execução de tarefas desafiadoras de navegação autônoma. A aprendizagem dos parâmetros do classificador logístico é efetuada através de um algoritmo de aprendizagem por reforço baseado em gradiente de política, e os do POMDP, atráves de um algoritmo de maximização de verossimilhança. Três experimentos computacionais são efetuados, dois deles utilizando somente o classificador logístico, e o terceiro utilizando o acoplamento entre POMDP e classificador logístico. Os resultados permitem a constatação de pontos fortes e algumas deficiências das duas abordagens. O trabalho aponta também para uma potencial reinterpretação do controlador baseado em rede imunológica em termos de um modelo probabilístico similar ao proposto

Abstract: There is an increasing demand for advanced solutions in autonomous navigation of mobile robots. A system is presented for the synthesis and learning of controllers for such purpose. A probabilistic controller is proposed, consisting of the coupling of a partially observable Markov decision...

Abstract: There is an increasing demand for advanced solutions in autonomous navigation of mobile robots. A system is presented for the synthesis and learning of controllers for such purpose. A probabilistic controller is proposed, consisting of the coupling of a partially observable Markov decision process (POMDP) with a multinomial logistic classifier. The parametrization used for the POMDP draws on an earlier proposal of robot control based on artificial immune networks, that has shown to present flexibility and knowledge representation capability in the execution of challenging autonomous navigation tasks. Learning the logistic classifier parameters is accomplished through a reinforcement learning algorithm based on policy gradient, while the POMDP parameters are learned by a likelihood maximization algorithm. Three computational experiments are performed, two of them using only the logistic classifier, and the third one using the coupling of a POMDP with a logistic classifier. The results show some strong points and drawbacks of both approaches. The work also points torwards a potential reinterpretation of the immune network based controller in terms of a probabilistic model similar to the one proposed