Orientador: João Marcos Travassos Romano

Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica

Resumo: Nesta tese realiza-se um estudo cujo objetivo é estabelecer uma base teórica para o processamento neural-adaptativo de sinais, uma nova técnica que visa conjugar as potencialidades intrínsecas das propriedades coletivas emergentes de redes neurais ao sólido formalismo matemático da filtragem...

Resumo: Nesta tese realiza-se um estudo cujo objetivo é estabelecer uma base teórica para o processamento neural-adaptativo de sinais, uma nova técnica que visa conjugar as potencialidades intrínsecas das propriedades coletivas emergentes de redes neurais ao sólido formalismo matemático da filtragem adaptativa. Isto possibilita, ao mesmo tempo, uma análise matemática mais aprofundada dos princípios básicos do processamento de informação neural (auto-organização e processamento paralelo distribuído) e a generalização da aplicação de filtros adaptativos a situações mais complexas (por exemplo, no caso de aplicações que envolvam ruído não-gaussiano). A base teórica proposta nesta tese está fundamentada numa série de analogias matemáticas e conceituais existentes entre as redes neurais e a filtragem adaptativa, que envolvem estruturas, algoritmos de treinamento e princípios básicos. Evidencia-se como redes neurais podem ser fundamentadas pelo formalismo matemático associado à filtragem adaptativa, em termos da equação de
Wiener-Hopf, da predição linear , do algoritmo do gradiente estocástico e da desconvolução cega. Simultaneamente, demonstra-se como filtros adaptativos podem ser relacionados aos princípios básicos de redes neurais, por exemplo, ao sistema nervoso vertebrado, à sinapse de Hebb, ao processamento paralelo distribuído, à auto-organização e à psicologia cognitiva. Apresenta-se uma metodologia de trabalho para sinais o desenvolvimento do processamento neural-adaptativo de e discutem-se alguns resultados já alcançados por esta nova abordagem, que consistem na análise matemática simultânea do processamento paralelo distribuído intrínseco a uma rede neural Perceptron multi-camadas (linear e parcialmente interconectada) e à cascata de filtros adaptativos transversais. Com base nesta análise, propõe-se uma versão modificada do algoritmo do gradiente estocástico na forma cascata, cujo desempenho é avaliado para a predição linear de um sinal auto-regressivo. Simulações evidenciam que, para este caso, o novo algoritmo é mais rápido e mais independente das condições iniciais que sua versão original

Abstract: We propose the theoretical foundations of the " Neural Adaptive Signal Processing" , an emerging technique which
establishes an useful co-operation between the collective properties of neural networks and the solid mathematical theory
connected to adaptive filtering. Neural adaptive...

Abstract: We propose the theoretical foundations of the " Neural Adaptive Signal Processing" , an emerging technique which
establishes an useful co-operation between the collective properties of neural networks and the solid mathematical theory
connected to adaptive filtering. Neural adaptive signal processing enables, at the same time, a deeper mathematical anaIysis of neural networks basic principIes (eg. parallel distributed processing and self-organization) and the efficient application of
adaptive fiIters to more eomplex tasks (eg. signal processing in the presence of non-Gaussian noise). The theoretical foundations are based upon several mathematical and conceptual anaIogies between neural networks and adaptive fiItering structures, training algorithms and basic principIes. We point out how some adaptive fiItering theories and equations (such as Wiener-Hopf equation, linear prediction, stochastie gradient algorithm and blind deconvolution) can be applied as an useful formalism to neural networks mathematical anaIysis. Conversely, we show how adaptive fiIters can be reIated to neural networks basic principIes (for exempIe, vertebrate nervous system, Hebbian synapsis, paraIIel distributed processing,
seIf-organization and cognitive psychology). We present a research methodology for neural adaptive signal processing deveIopment and we discuss some resul ts attained by distributed processing two systems: a parallel linear making use of it. We anaIyse of mathematically the partially-interconnected multi-layer Perceptron and a cascade of transversal adaptive filters. Based upon this analysls, we propose an alternative cascade-form stochastic gradient algorithm, and we evaluate its performance when the cascaded fiIters are appIied to the linear prediction of an auto-regressive signal. For this case, simulations outline that the new algorithm seems to be faster and more independent of system initial conditions than its original counterpart