Cognitive architecture-driven ensemble learning for real-time churn prediction
Sadeeq Olalekan Bello
DISSERTAÇÃO
Inglês
T/UNICAMP B417c
[Aprendizado ensemble baseado em arquitetura cognitiva para previsao de rotatividade em tempo real]
Campinas, SP : [s.n.], 2024.
1 recurso online (100 p.) : il., digital, arquivo PDF.
Orientadores: Marcelo da Silva Reis, Julio Cesar dos Reis
Dissertação (mestrado) - Universidade Estadual de Campinas (UNICAMP), Instituto de Computação
Resumo: A rotatividade de clientes continua sendo um problema urgente para empresas em serviços baseados em assinatura, telecomunicações e mercados on-line, onde reter clientes é vital para o sucesso a longo prazo. Prever a rotatividade, principalmente em tempo real, apresenta desafios...
Ver mais
Resumo: A rotatividade de clientes continua sendo um problema urgente para empresas em serviços baseados em assinatura, telecomunicações e mercados on-line, onde reter clientes é vital para o sucesso a longo prazo. Prever a rotatividade, principalmente em tempo real, apresenta desafios significativos devido à natureza dinâmica e complexa do comportamento do cliente. Os modelos preditivos tradicionais geralmente dependem de dados estáticos e regras fixas, o que limita sua capacidade de se adaptar aos padrões em constante mudança das ações do consumidor. Essa limitação dificulta a identificação rápida e precisa de clientes em risco. O principal desafio na previsão de rotatividade em tempo real está no processamento de fluxos de dados contínuos e no ajuste dinâmico de modelos para levar em conta as flutuações no comportamento do cliente, tudo isso mantendo alta precisão preditiva. Esta dissertação de mestrado investiga e avalia um sistema de previsão adaptável que pode processar efetivamente dados de clientes em tempo real e se ajustar dinamicamente às mudanças nos padrões de comportamento, mantendo alta precisão de previsão. Esta pesquisa propõe e avalia uma arquitetura cognitiva que incorpora aprendizado de conjunto dinâmico para previsão de rotatividade em tempo real. Nossa arquitetura, implementada por meio do Cognitive Systems Toolkit (CST), combina vários modelos de aprendizado de máquina cujas contribuições são ponderadas dinamicamente com base no desempenho anterior. O sistema aproveita a modularidade e a adaptabilidade para gerenciar grandes volumes de dados do cliente em tempo real, com codelets especializados lidando com processamento de dados, treinamento de modelo e ajuste de peso de conjunto. A avaliação conduzida implementa uma estrutura abrangente, testando o sistema em conjuntos de dados balanceados e desbalanceados. Avaliamos seis modelos de aprendizado de máquina (KNN, Regressão Logística, Árvore de Decisão, Floresta Aleatória, SVM e Naive Bayes) individualmente e em configurações de conjunto. A análise compara abordagens de conjunto estáticas versus dinâmicas, emprega validação cruzada em várias dobras de dados e valida os resultados por meio de testes estatísticos usando o teste de classificação assinada de Wilcoxon. Nossas descobertas demonstram que a abordagem de conjunto dinâmico da arquitetura cognitiva supera significativamente os modelos individuais e conjuntos estáticos, alcançando 95,92\% de precisão em dados balanceados em comparação com 82,93\% em dados desbalanceados. A solução mostra força particular no tratamento de padrões de dados dinâmicos, com significância estatística em melhorias de precisão (p = 0,0098) e recall (p = 0,0020). A validação entre conjuntos de dados foi conduzida em três conjuntos de dados de telecomunicações (IBM Telco, Churn-data-UCI e Telco-Customer-Churn), confirmando a generalização e robustez da arquitetura dentro do domínio das telecomunicações. Embora a avaliação tenha sido específica para conjuntos de dados de telecomunicações, o design modular da abordagem sugere aplicabilidade potencial a outros setores, o que justifica uma investigação mais aprofundada. Os resultados destacam a eficácia da combinação de arquiteturas cognitivas com aprendizado de conjunto dinâmico para abordar as complexidades da previsão de rotatividade de clientes em setores acelerados e orientados a dados
Ver menos
Abstract: Customer churn remains a pressing issue for businesses in subscription-based services, telecommunications, and online marketplaces, where retaining customers is vital for long-term success. Predicting churn, particularly in real-time, presents significant challenges due to customer...
Ver mais
Abstract: Customer churn remains a pressing issue for businesses in subscription-based services, telecommunications, and online marketplaces, where retaining customers is vital for long-term success. Predicting churn, particularly in real-time, presents significant challenges due to customer behavior’s dynamic and complex nature. Traditional predictive models often rely on static data and fixed rules, which limit their ability to adapt to the ever-changing patterns of consumer actions. This limitation makes it difficult to identify at-risk customers promptly and accurately. The core challenge in real-time churn prediction lies in processing continuous data streams and dynamically adjusting models to account for fluctuations in customer behavior, all while maintaining high predictive accuracy. This M.Sc. dissertation investigates and evaluates an adaptive prediction system that can effectively process real-time customer data and dynamically adjust to changing behavior patterns while maintaining high prediction accuracy. This research proposes and evaluates a cognitive architecture incorporating dynamic ensemble learning for real-time churn prediction. Our architecture, implemented through the Cognitive Systems Toolkit (CST), combines multiple machine learning models whose contributions are dynamically weighted based on previous performance. The system leverages modularity and adaptability to manage large volumes of customer data in real time, with specialized codelets handling data processing, model training, and ensemble weight adjustment. The conducted evaluation implements a comprehensive framework, testing the system across both balanced and imbalanced datasets. We evaluate six machine learning models (KNN, Logistic Regression, Decision Tree, Random Forest, SVM, and Naive Bayes) individually and in ensemble configurations. The analysis compares static versus dynamic ensemble approaches, employs cross-validation across multiple data folds, and validates results through statistical testing using the Wilcoxon signed-rank test. Our findings demonstrate that the cognitive architecture’s dynamic ensemble approach significantly outperforms individual models and static ensembles, achieving 95.92\% accuracy on balanced data compared to 82.93\% on imbalanced data. The solution shows particular strength in handling dynamic data patterns, with statistical significance in precision (p = 0.0098) and recall (p = 0.0020) improvements. Cross-dataset validation was conducted on three telecommunication datasets (IBM Telco, Churn-data-UCI, and Telco-Customer-Churn), confirming the architecture’s generalizability and robustness within the telecommunication domain. While the evaluation was specific to telecommunication datasets, the approach’s modular design suggests potential applicability to other industries, which warrants further investigation. The results highlight the effectiveness of combining cognitive architectures with dynamic ensemble learning in addressing the complexities of customer churn prediction in fast-paced, data-driven industries
Ver menos
Requisitos do sistema: Software para leitura de arquivo em PDF
Aberto
Reis, Marcelo da Silva, 1979-
Orientador
Reis, Julio Cesar dos, 1987-
Coorientador
Gudwin, Ricardo Ribeiro, 1967-
Avaliador
Lopes, Fabrício Martins
Avaliador
Cognitive architecture-driven ensemble learning for real-time churn prediction
Sadeeq Olalekan Bello
Cognitive architecture-driven ensemble learning for real-time churn prediction
Sadeeq Olalekan Bello