Resumo: Em marketing digital, dados são essenciais para compreender o comportamento do cliente, o que permite uma tomada de decisão mais assertiva. Esses dados dependem cada vez mais de logs de uso de aplicações. Esses logs capturam interações de usuários em diversas plataformas (interfaces web, aplicativos móveis, e-commerce, etc.), gerando uma fonte rica de informações para aprimorar estratégias de marketing. A literatura atual revela uma lacuna em soluções capazes de abstrair dados de maneira contínua e eficiente a partir de diferentes plataformas e logs, especialmente no que diz respeito à geração automatizada e eficaz de datasets voltados para o marketing digital. Embora existam diversas ferramentas de software, elas tendem a ser limitadas pela dependência de plataforma, o que reduz sua aplicabilidade em ambientes multiplataforma. Esta tese de mestrado tem como objetivo projetar, implementar e avaliar um novo framework para geração de datasets, denominado MAEVE. Nossa solução é agnóstica à plataforma e capaz de transformar logs de usabilidade diversos em datasets estruturados. O framework abstrai o processo de ingestão de logs, permitindo a extração, transformação e carga (ETL, do inglês \textit{Extract, Load and Transform}) de logs de diversas plataformas. O MAEVE foi desenvolvido seguindo o modelo ETL, utilizando o Datadog para a ingestão de logs, automatizando a extração de dados brutos e transformando-os em datasets prontos para aprendizado de máquina. Avaliamos experimentalmente até que ponto os datasets gerados são adequados para análise preditiva em marketing digital, utilizando aplicações web reais e datasets voltados à previsão de comportamento do cliente. Em nossos procedimentos, modelos de aprendizado de máquina, incluindo redes neurais, foram utilizados para avaliar a qualidade desses datasets. Nossos experimentos demonstraram resultados significativos na precisão das previsões. Dos cinco modelos de aprendizado de máquina utilizados, a menor acurácia verificada foi de 88%, enquanto os modelos de melhor performane registratam 100% de acurácia. Esta pesquisa contribui para as áreas de engenharia de software, engenharia de dados e marketing digital, ao fornecer uma solução escalável e agnóstica à plataforma para a geração de datasets. O MAEVE viabiliza novas previsões sobre o comportamento do cliente e pode ser ampliado para diversas aplicações, oferecendo uma ferramenta robusta para aprimorar estratégias de marketing digital orientadas por dados Ver menos

Abstract: In digital marketing, data is essential for understanding consumer behavior, which supports data-driven decision-making that increasingly relies on data extracted from logs. These logs capture user interactions across platforms (such as web interfaces, mobile applications, e-commerce, etc.), creating a rich source of information to refine marketing strategies. Current literature reveals a gap in existing solutions capable of seamlessly abstracting data from various platforms and logs, especially about automated and effective dataset generation tailored for digital marketing. While numerous software tools exist, they tend to be limited by platform dependency, reducing their applicability in broader, multi-platform environments. This M.Sc. thesis aims to design, implement, and evaluate a novel dataset generation framework. We named it MAEVE. Our solution is platform-agnostic and can transform diverse usability logs into structured datasets. Our framework abstracts the log ingestion process, enabling data extraction, transformation, and loading (ETL) from multiple platforms. MAEVE was developed following the ETL model, utilizing Datadog for log ingestion by automating the extraction of raw log data to transform it into machine-learning-ready datasets. We experimentally evaluated to which extent generated datasets are suited for predictive analysis in digital marketing by using real-world web applications with datasets generated for consumer behavior prediction. In our procedures, machine learning models, including deep neural networks, were employed to assess the quality of these datasets. Our findings demonstrate significant results in prediction accuracy. Out of 5 machine learning models used for experimental evaluation, the lowest recorded accuracy was 88%, while the best performing models were able to reach 100% accuracy. This research contributes to the software and data engineering field and digital marketing by providing a scalable, platform-agnostic solution for dataset generation. MAEVE enables novel consumer behavior predictions and can be extended to various applications, offering a robust digital tool for enhancing data-driven marketing strategies Ver menos