Orientador: Denise Bértoli Braga

Tese (doutorado) - Universidade Estadual de Campinas, Instituto de Estudos da Linguagem

Resumo: Nesta tese tenho por objetivo propor uma metodologia de análise para comunicação multimodal em produções audiovisuais. Sua base teórica está na análise multimodal (KRESS, 1993, 2003, 2005, 2006, 2010; KRESS; VAN LEEUWEN, 1996, 2001, 2002; Lemke, 1998, 2002, 2004, 2006a, b, c) e parte do...

Resumo: Nesta tese tenho por objetivo propor uma metodologia de análise para comunicação multimodal em produções audiovisuais. Sua base teórica está na análise multimodal (KRESS, 1993, 2003, 2005, 2006, 2010; KRESS; VAN LEEUWEN, 1996, 2001, 2002; Lemke, 1998, 2002, 2004, 2006a, b, c) e parte do pressuposto que qualquer ato comunicacional ocorre graças a uma série de convenções de constituição atreladas à situação de comunicação. Essas convenções constituem os diversos modos de linguagem, os quais em interação permitem que os participantes de uma interação construam seu significado. Por conseguinte, acredito que todos os modos de linguagem presentes no corpus desta tese - o que incluiria, por exemplo, a linguagem visual, gestual ou qualquer outro modo de linguagem - têm seus significados expressos por meio de escolhas interrelacionadas e de importância equivalente. O corpus desta pesquisa é composto por 12 vídeos da campanha "Get a Mac" (Compre um Mac), exibida na televisão dos EUA e disponibilizada em sítios de internet. Tal campanha teve desdobramentos no Reino Unido e no Japão, locais onde foram produzidos alguns vídeos publicitários inéditos e com características próprias. Inicio essa tese com uma reflexão sobre os conceitos epistêmico-teóricos que dão origem à abordagem multimodal, para, posteriormente, discuti-la de forma crítica. Aqui pretendo estabelecer alguns pressupostos que estão na base de interpretação da discussão multimodal, e que serão constantemente retomados no processo de discussão teórica, análise e discussão dos dados. Segue-se então uma discussão sobre aplicação da Metafunção Organizacional (ou Textual) em peças audiovisuais, de forma a complementar a literatura já existente com discussões a respeito de como elementos próprios da linguagem vídeo-fílmica, além de modos de linguagem corporificados, como gestos e olhares, também poderiam ser considerados nessa equação. Passo então para uma discussão metodológica que busca não apenas apresentar o corpus de estudo deste trabalho, discutir quais foram os critérios de coleta, análise e transcrição de dados, trazer algumas considerações importantes sobre a linguagem vídeo-fílmica, bem como propor um modelo de análise para esses textos, objeto de estudo desta tese. Parto do princípio de instanciação como elemento norteador do trabalho do analista, procurando fazer um levantamento sistemático das escolhas em cada um dos modos de linguagem e discutindo como cada um deles contribui para o amálgama de signos que é o significado; observa-se, então, que a instanciação do significado faz com que as diferentes escolhas sejam condicionadas. Dessa forma, aplicarei esse modelo no corpus de pesquisa. Exploro como o conceito de constituição pode ser utilizado na análise de textos multimodais, desenvolvendo uma reflexão sobre a forma como os diferentes constituintes dos diversos modos de linguagem podem ser analisados em conjunto nos vídeos publicitários que compõem o corpus desta pesquisa. Utilizo os resultados desta parte inicial de forma a ampliar a discussão tendo em vista diversas perspectivas, o nível do conteúdo e o discurso, o design como encontro entre o conteúdo e a produção e suas escolhas nos diferentes contextos de produção. Por fim, estabeleço uma reflexão ligada à construção do processo de coesão e fluxo de informações em textos vídeo-fílmicos, com o objetivo de entender como se constrói um sistema de referências internas que permita conectar aquilo que já foi exibido com aquilo que está aparecendo naquele exato momento na tela

Abstract: In this thesis I aim at proposing a method of analysis for multimodal communication in audio- visual productions. The theoretical framework is based on multimodal analysis (KRESS, 1993, 2003, 2005, 2006, 2010; KRESS; VAN LEEUWEN, 1996, 2001, 2002; Lemke, 1998, 2002, 2004, 2006a, b, c),...

Abstract: In this thesis I aim at proposing a method of analysis for multimodal communication in audio- visual productions. The theoretical framework is based on multimodal analysis (KRESS, 1993, 2003, 2005, 2006, 2010; KRESS; VAN LEEUWEN, 1996, 2001, 2002; Lemke, 1998, 2002, 2004, 2006a, b, c), which assumes that any interaction takes place due to a series of conventions tied up to the context of communication. These conventions are the different modes of language, which allow participants of an interaction to build their meaning. Therefore, I consider that all modes of language present in the corpus analysed here - which could include, for example, the visual language, gestures or any other mode of language - have their meanings expressed through choices interrelated and of equal importance. The corpus of this research consists of 12 videos from the campaign "Get a Mac", shown in the US television and made available by Internet websites. As we shall see, this campaign was also launched in the UK and Japan, where some new videos were produced. In order to discuss my theoretical framework critically, this thesis begins with a discussion of the epistemic-theoretical concepts that give rise to a multimodal approach. Here I intend to establish some assumptions that will underlie my multimodal interpretation of the corpus, and these assumptions are going to be constantly put on back again in the theoretical discussion and data analysis. This will be followed by a discussion on realization of the Organizational (Textual) Metafunction in audio-visual pieces. This is meant to complement the existing literature with reflections on how specific elements of audio-visual language, as well as embodied modes of language such as gestures and looks could also be considered in this equation. Then, I begin a methodological discussion that seeks not only to present the corpus of the present study, my criteria for data collection, analysis and transcription, but also to propose a model to analyse these texts. I also explore some important concepts regarding audio-visual language. As a result, I assume the instantiation as a guide to the analysis and try to make a systematic survey of the choices in each of the modes of language in the videos. It was essential to understand how each mode of language contributes to the amalgamation of signs that results in meaning, which regulates the different choices. After this, I apply this model in the research corpus in order to explore how the concept of constitution can be used in the analysis of video-filmic texts and discuss how the different constituents of the modes of language can be analysed together. I use the results of this initial part to broaden the discussion on some perspectives, the level of content and discourse, the design as an encounter between content and expression and the choices in different contexts of production. Finally, I try to reflect upon cohesion and information flow in audio-visual texts. My goal in this moment was to understand how the instantiation of video texts creates a system of internal references that allows the viewer to connect what has already been shown with what is being shown at that very moment on the screen