Orientador: Ricardo da Silva Torres

Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Computação

Resumo: Atualmente, com os avanços tecnológicos, há disponível uma quantidade grande e heterogênea de dados multimídia. Estes dados podem ser provenientes de fontes diversificadas, desempenhando um papel fundamental em sistemas de informação, tais como repositórios de Bibliotecas Digitais. Com o...

Resumo: Atualmente, com os avanços tecnológicos, há disponível uma quantidade grande e heterogênea de dados multimídia. Estes dados podem ser provenientes de fontes diversificadas, desempenhando um papel fundamental em sistemas de informação, tais como repositórios de Bibliotecas Digitais. Com o objetivo de reutilizar, integrar, agregar e unificar diferentes recursos sob o mesmo conceito, objetos complexos surgiram para facilitar a abstração de agregações, utilizando componentes de diferentes domínios, e unificando-os sob o mesmo conceito. Em especial, os objetos complexos de imagens são um exemplo representativo de fonte de dados que geralmente é integrada com componentes heterogêneos, tais como metadados, links e softwares de manipulação de imagem. A busca de imagens é um serviço importante, amplamente explorado em sistemas de Biblioteca Digital. A recuperação de imagens por conteúdo aborda a busca automática de imagens, considerando propriedades visuais (como textura e cor). Este trabalho trata de três aspectos relacionados a objetos complexos: (i) a formalização de conceitos; (ii) a comparação de tecnologias relacionadas; e (iii) a especificação e a implementação de um protótipo, que encapsula e publica objetos complexos de imagens manipulados em sistemas de busca de imagens por conteúdo. A infraestrutura proposta baseia-se em uma estrutura de componentização específica - Digital Content Component (DCC) - para encapsular o processo de busca de imagens por conteúdo e o objeto complexo de imagem. Posteriormente, os dados são publicados como itens de um repositório de dados, usando o protocolo Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH). A solução proposta prevê (i) um acesso homogêneo ao processo de busca de imagens por similaridade, e fontes de dados (imagens, metadados e descritores); (ii) a distribuição e coleta de metadados de objetos complexos de imagens, juntamente com as medidas de similaridade e vetores de características; e (iii) a centralização do processamento, encapsulamento, publicação e coleta do objeto complexo de imagem. Finalmente, é ilustrado o reuso dos componentes da infraestrutura proposta no domínio de biodiversidade, na integração de bibliotecas digitais de impressões digitais, na busca multimodal e em estórias de vídeo

Abstract: The large amount of heterogeneous data from different resources available today play a key role in information systems, such as Digital Library repositories. In order to reuse, integrate, aggregate, and unify different resources under the same concept, complex objects (COs) have emerged to...

Abstract: The large amount of heterogeneous data from different resources available today play a key role in information systems, such as Digital Library repositories. In order to reuse, integrate, aggregate, and unify different resources under the same concept, complex objects (COs) have emerged to facilitate aggregation abstraction, embracing components from different domains, and unifying them under the same concept. In special, image COs are a representative example of data source which is generally integrated with different components, such as metadata, links, and image manipulation software. Image search is an important service, widely explored in Digital Library systems. The so-called Content-Based Image Retrieval (CBIR) addresses the automatic search of images, trying to retrieve collection images by taking into account their visual properties (such as texture and color). This work is concerned with tackling three aspects related to complex objects: (i) formal definitions; (ii) comparison of related technologies; and (iii) the specification and implementation of a framework, which encapsulates and publishes complex image objects resulting from the CBIR process. Our infrastructure relies on a specific component technology - Digital Content Component (DCC) - to encapsulate the CBIR process and wrap image COs. Later, the data is exposed as items in a data repository, using Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH). The proposed solution provides (i) an homogeneous access to CBIR process and heterogenous data sources (image collection, metadata, descriptors); (ii) the harvesting of complex image objects (ICOs), along with the similarity distances and feature vectors; and (iii) the centralization of ICO processing, packaging, publishing, and harvesting. Finally, we illustrate the reuse of our infrastructure components in biodiversity domain, in a fingerprint digital library integration, with multimodal search, and video stories