Orientador: Romis Ribeiro de Faissol Attux

Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação

Resumo: As redes neurais com estados de eco (em inglês, echo state networks, ESNs) são estruturas recorrentes capazes de aliar processamento dinâmico a um processo de treinamento relativamente simples, o qual se resume à adaptação dos coeficientes do combinador linear da saída no sentido de mínimo...

Resumo: As redes neurais com estados de eco (em inglês, echo state networks, ESNs) são estruturas recorrentes capazes de aliar processamento dinâmico a um processo de treinamento relativamente simples, o qual se resume à adaptação dos coeficientes do combinador linear da saída no sentido de mínimo erro quadrático médio (em inglês, mean squared error, MSE), enquanto os pesos das conexões no reservatório de dinâmicas são ajustados de maneira antecipada e permanecem fixos. A presente tese trata dos principais elementos que caracterizam as ESNs e propõe: (i) uma unificação entre as abordagens de computação com reservatórios, como as ESNs e as liquid state machines (LSMs), e as extreme learning machines (ELMs), sob o termo geral de máquinas desorganizadas, o qual estabelece uma conexão com as pioneiras idéias conexionistas de Alan Mathison Turing; (ii) uma nova arquitetura de ESN, cuja camada de saída é composta por um filtro de Volterra e por um estágio de compressão baseado em Análise de Componentes Principais (em inglês, Principal Component Analysis, PCA); (iii) o uso de critérios de aprendizado baseados em teoria da informação e em normas Lp em lugar do critério MSE para a adaptação dos parâmetros da camada de saída de ESNs; e (iv) uma estratégia não-supervisionada de projeto da camada recorrente de ESNs baseada em interações laterais, modeladas segundo a função chapéu mexicano, e na auto-organização dos pesos de entrada. As propostas elaboradas neste trabalho são analisadas através de simulações no contexto de diferentes problemas de processamento da informação, como equalização de canais de comunicação, separação de fontes e predição de séries temporais

Abstract: Echo state networks (ESNs) are recurrent structures capable of allying dynamic processing to a relatively simple training process, which amounts to adapting the coefficients of the linear combiner at the output in the minimum mean squared error (MSE) sense, while the connection weights in...

Abstract: Echo state networks (ESNs) are recurrent structures capable of allying dynamic processing to a relatively simple training process, which amounts to adapting the coefficients of the linear combiner at the output in the minimum mean squared error (MSE) sense, while the connection weights in the dynamical reservoir are adjusted in advance and remain fixed. The present thesis deals with the main elements that characterize ESNs and proposes: (i ) a unification between reservoir computing approaches, such as ESNs and liquid state machines (LSMs), and extreme learning machines (ELMs), under the general term of unorganized machines, which establishes a connection with the pioneering connectionist ideas of Alan Mathison Turing; (ii ) a novel ESN architecture whose output layer is composed of a Volterra filter and of a compression stage based on Principal Component Analysis (PCA); (iii ) the use of information-theoretic learning criteria and those based on Lp norms instead of the MSE criterion for the adaptation of the parameters of the ESN output layer; and (iv) an unsupervised strategy for designing the recurrent layer of ESNs based on lateral interactions, modeled according to the mexican hat function, and on the self-organization of the input weights. The proposals developed in this work are analyzed through simulations in the context of different information processing problems, such as channel equalization, source separation and time series prediction