Resumo: Apresenta-se um modelo de controle por intervenções para o problema de produção e estoque de vários itens, com diversos estágios de produção. Este problema pode ser solucionado via programação dinâmica discreta (PD) por um operador de custo descontado. Para contornar a dificuldade de obtenção da solução ótima via PD ao se considerar um número razoável de classes de itens e suas etapas de produção, esta tese desenvolve-se em duas linhas. A primeira delas consiste em tomar uma noção de estabilidade estocástica no sentido Foster-Lyapunov para caracterizar a família de soluções candidatas a ótima, originando uma classe de políticas que geram um subconjunto de estados que são recorrentes positivos. Dessa forma, é possível propor políticas sub-ótimas que sejam estáveis, e cuja consideração de otimalidade possa ser desenvolvida apenas no subconjunto de estados recorrentes, simplificando a tarefa da PD e focando nos estados mais freqüentados no longo prazo. A segunda linha de abordagem consiste em desenvolver técnicas de PD aproximada para o problema, através de uma arquitetura de aproximação fixa aplicada a um subconjunto amostra do espaço de estados. Um avanço analítico é alcançado por observar como uma arquitetura de aproximação pode capturar adequadamente a função valor do problema, vista como uma projeção da função valor na arquitetura. Condições para que um algoritmo de PD aproximada convirja para essa projeção são obtidas. Essas condições são independentes da arquitetura utilizada. Um algoritmo derivado dessa análise é proposto, a partir do monitoramento da variação de passos sucessivos Ver menos

Abstract: We propose an intervention control model for a multi-product, multi-stage, single machine production and storage problem. The optimal policy is obtained by means of discrete dynamic programming (DP), through a discounted cost contraction mapping. In order to overcome the difficulty of obtaining the optimal solution for problems with a reasonable number of products and production stages, we take two different approaches. The first one consists in using a notion of stochastic stability in the Foster-Lyapunov sense to characterize the candidate policies, thus originating a class of policies that induce a subset of positive recurrent states. Therefore, one can propose suboptimal policies that are stable and seek optimality only in the subset of recurrent states, in such a way that simplifies the DP task and focuses on the states which are visited more frequently in the long run. The second approach consists in developing approximate dynamic programming techniques for the problem, by means of a fixed approximation architecture applied to a sample subset of the state space. A novel result is obtained by observing how an approximation architecture can adequately capture the value function of the problem, which is viewed as a projection of the value function into the architecture. We obtain conditions for an approximate DP algorithm to converge to this projection. These conditions are architecture independent. An algorithm derived from this analysis is proposed that monitors the variation between successive iterates Ver menos