The role of attention in audiovisual speech integration

  1. Agnès Alsius Rance
Supervised by:
  1. Salvador Soto-Faraco Director

Defence university: Universitat de Barcelona

Year of defence: 2009

Committee:
  1. Charles Spence Chair
  2. Antoni Rodríguez Fornells Secretary
  3. Manuel Francisco Carreiras Valiña Committee member

Type: Thesis

Teseo: 275486 DIALNET

Abstract

Uno de los ejemplos más citados de la integración de la información procedente de las distintas modalidades sensoriales, se encuentra durante la exposición al habla natural, cuando la información visual de los movimientos articulatorios de la cara se procesa e integra con la información acústica. A pesar de que en varios estudios comportamentales ( McGurk & MacDonald, 1976; Massaro, 1987; Green et al., 1991; Rosenblum et al., 1996; Soto-Faraco et al., 2003), de desarrollo (Burnham et al., 1998; Khul et al., 1982) y neurofisiológicos (Colin et al., 2002; Bemstein et al., 2003) se ha asumido a menudo que la integración audiovisual del habla se da de forma automática y pre-atencional, el papel que juega la atención en este proceso no se ha medido previamente de forma explícita. Los estudios presentados en la sección experimental de esta tesis cuestionan esta conceptualización automática y presentan datos empíricos mostrando que la integración multisensorial del habla es un proceso que puede ser modulado por factores atencionales. Los experimentos presentados en esta tesis están organizados entorno a los siguientes objetivos: (1) Evaluar la hipótesis de automaticidad manipulando la cantidad de recursos de procesamiento disponibles; (2) Evaluar la impenetrabilidad cognitiva de la integración audiovisual del habla investigando el acceso a sus componentes sensoriales originales (3) Examinar si se requiere atención espacial para detectar estímulos audiovisuales sincrónicos. En general, los datos presentados muestran que dos pre-requisitos parecen fundamentales para que la Integración se de de forma automática: el sistema perceptivo tiene que tener acceso a la localización espacial del estimulo visual y una cierta cantidad de recursos atencionales tienen que permanecer disponibles para poder integrar la información procedente de las distintas modalidades. Además, los datos experimentales muestran que, incluso cuando las condiciones son las óptimas para la integración, el procesamiento de los atributos de las distintas modalidades ocurre de forma fragmentaria. ENGLISH: One of me most commonly cited examples of human multisensory integration occur during exposure to natural speech, when the vocal and the visual aspects of the signal are integrated in a unitary percept. Altough behavioural { McGurk & MacDonald, 1976; Massaro, 1967; Green el al., 1991; Rosenblum et al., 1996; Soto-Faraco et al., 2003), developmental (Burnham et al., 1998; Khul et al., 1982) and neurophysiological (Colin el al., 2002; Bemstein et al., 2003) studies have converged on a preattentive conceptualization of audiovisual speech integration, the putatuive role of attention has been rarely measured explicitely. The studies presented in the experimental section of this thesis challenge this automatic conceptualization and present empirical data showing that multisensory binding in speech perception can indeed be influenced by several cognitive factors. The experiments reported in the present thesis are organized around the following three general aims: (1) Testing the automaticity hypothesis by manipulating the amount of available processing resources using a dual task paradigm; (2) Assessing the cognitive impenetrability of audiovisual speech integration by testing the access to its original sensory components; (3) Testing whether the detection of audiovisual speech synchrony requires the focus of spatial attention using a search paradigm. The broad picture that emerges from the results is that two basic prerequisites are critical for audiovisual speech integration to occur automatically. The perceptual system has to have full access to the spatial location of the visual event and some processing resources must remain available in order for the Information arriving from the two sensory modalities to be integrated. Moreover, it is shown that even under the optimal conditions for automatic processing, audiovisual integration is a fragmentary process during which the different attributes of the stimuli may be bound separately.