El análisis semántico latente (l.S.A.) ¿es una teoría psicológica o una herramienta de análisis semántico?

Resumo

En esta tesis hemos abordado una amplia introducción teórica del LSA. Hemos situado sus inicios y los motivos de su nacimiento, su evolución y las raíces filosóficas y psicológicas de la que parte. Hemos hecho también alusión a los trabajos y aplicaciones que han hecho del LSA una herramienta eficaz como sistema de evaluación humano y la similitud que presenta con el funcionamiento de la memoria humana, salvaguardando ciertas limitaciones que hacen dudar de si el LSA puede considerarse o no una teoría psicológica. En otro apartado más experimental, hemos abordado algunas cuestiones referidas a los ámbitos de aplicación de la herramienta, para después tratar las limitaciones más evidentes a las que se enfrenta el LSA. En su parte más experimental, esta tesis ha pretendido analizar precisamente los límites del LSA en el dominio de la evaluación, y más específicamente en la evaluación de resúmenes realizados por estudiantes procedentes de diferentes niveles educativos. Entre las cuestiones que hemos trabajado están una minuciosa revisión de los métodos de evaluación con el LSA más utilizados por la investigación previa y la propuesta de otros nuevos que son más eficientes dentro de este contexto. Uno de estos límites ha versado sobre la evaluación de resúmenes altamente conceptualizados y concisos, campo hasta ahora inexplorado, obteniendo, creemos, resultados alentadores en relación a cómo el LSA se comporta de manera parecida a como lo hacen jueces expertos. En esta línea, hemos trabajado y analizado el LSA respecto a la cuestión de si esta configuración semántica proporciona evaluaciones fiables en textos con los que a priori no está preparada para trabajar bien. Hemos visto los límites de la herramienta comparándola siempre con juicios humanos. Hemos analizado, además, algunas propiedades que proporcionan una mejora en la herramienta teniendo en cuenta sus posibles aplicaciones en el campo educativo. Entre las mejoras propuestas destacamos la construcción de algoritmos que aproximan el LSA a algunas teorías psicológicas (Dehière et al., 2007; van Dijk y Kintsch, 1983) o algoritmos que trabajan el espacio semántico latente de forma más eficiente (Hu et al., 2007; Olmos, León, Jorge-Botana y Escudero, en prensa). Además, se ha abordado el estudio de algunas propiedades de los corpus, como el tamaño y grado de especificación del corpus o los contrastes entre un corpus genérico y extenso respecto a otros más específico de dominio y reducido, llegando a la conclusión de que con poco puede hacerse mucho. Este estudio muestra al LSA como una herramienta valiosa y práctica por docentes, evaluadores o metodólogos que deseen confeccionar sus propios corpus de dominio específico para evaluar el discurso escrito en cualquiera de sus modalidades (Olmos et al., 2009). Por último, hemos planteado cuestiones que deben investigarse a fondo en el futuro y para ello hemos hecho algunos trabajos experimentales que sirvan de esbozo para estas futuras líneas de investigación. Concretamente, hemos presentado algunos resultados sobre el problema de la primera dimensión (Hu et al., 2003) y alguna perspectiva distinta que sirve para afrontar tal problema. Hemos estudiado igualmente desde la óptica de la macroestructura propuesta por Kintsch (2002), algunos métodos que pueden resultar adecuados para minimizar los costes computacionales de la herramienta. Por último, hemos analizado algunas propiedades del Lexesp (Sebastián et al., 2000) en relación al LSA, detectando que en los corpus hay palabras mucho más influyentes que otras y que éstas absorben y capitalizan casi toda la información en las comparaciones semánticas. Esto puede indicar la presencia de sesgos importantes en los corpus con los que trabajamos y la necesidad de ponderar de diferentes formas las palabras para evitar dichos sesgos. Es ahora cuando podemos hacer un balance de qué representa el LSA, qué utilidades, valores y virtudes tiene como herramienta matemática de representación semántica, qué alcance tiene a nuestro juicio en el ámbito de la evaluación y, por supuesto, qué implicaciones teóricas tiene con sus mecanismos propuestos para la adquisición del conocimiento. En lo que sigue se expondrán las conclusiones de la tesis desde dos puntos de vista que reflejan las preguntas y objetivos con los que comenzaron el estudio. Primero comentaremos qué opinión nos queda del LSA como teoría de adquisición del significado de las palabras, es decir, nuestra opinión del LSA como teoría. Posteriormente haremos un repaso exhaustivo sobre lo que consideramos que es LSA como herramienta semántica, fundamentalmente en el campo de la evaluación y a la vista de nuestros resultados experimentales alcanzados. El LSA como teoría de adquisición del conocimiento Mecanismos del LSA como teoría de adquisición del conocimiento En nuestra opinión, el gran valor del LSA es que simula correctamente la representación del vocabulario entrenándose con un volumen de lenguaje parecido al que tenemos los seres humanos (o, si no tanto, al menos un volumen de textos realmente extenso). El LSA aborda la cuestión de la experiencia sobre el lenguaje de una forma elegante y encomiable, fundamentalmente por la cantidad de textos que es capaz de manipular (aunque sea en formato escrito) y porque a partir de ahí es capaz de simular aspectos psicológicos relevantes. Desde nuestro punto de vista, el valor teórico más importante del LSA es que se describen unos mecanismos de acción que permiten simular la adquisición de significado lidiando con el fenómeno de la pobreza del estímulo y manifestando claramente que, incluso, con las limitaciones empíricas a las que estamos expuestos, existe una buena solución para llegar a una representación semántica de las palabras. La solución al problema de Platón (véase Landauer y Dumais, 1997) se da por un proceso de generalización a partir de los contextos, gracias al cual el conocimiento de unas palabras nos puede dar pistas para conocer otras sin que estén éstas presentes. Este proceso de inferencia en el LSA se basa en el conocimiento de las palabras a través de relaciones indirectas proporcionadas por otras palabras (Jorge-Botana et al., en prensa). Las relaciones indirectas se dan por el contexto, ambiente o familia de palabras. Si se llevan los mecanismos del LSA al ser humano y poniendo un ejemplo, el cerebro podría dar el salto o inferencia y comprender que las palabras automóvil y coche se acompañan de contextos parecidos, de modo que un buen día, leyendo o escuchando la palabra coche salta un resorte que nos hace comprender la palabra automóvil. Dicho de otro modo, una apuesta fuerte por el LSA recae en que es capaz de simular la adquisición de vocabulario mediante conexiones indirectas, a partir de un sistema totalmente interrelacionado en el que un cambio en un elemento cambia el resto de los elementos. La generalización de los contextos es todo lo que necesitamos para aprender qué significan las palabras, es decir, para adquirir una representación semántica de las palabras. Con una experiencia limitada pero teniendo un sistema ¿inteligente¿ que perciba las regularidades del ambiente, encajaremos las palabras en su sitio correspondiente y podremos llegar a comprender sus significados. Encajar las palabras donde corresponde en su espacio semántico es cuestión de que el sistema sea capaz de simplificar la estructura inabarcable y contingente de la experiencia. Esto lo resuelve también la teoría de forma elegante con la reducción de dimensiones por medio de la descomposición en valores singulares. La reducción de dimensiones con esta técnica matemática tiene el papel de dar orden y sentido al lenguaje, de extraer las regularidades semánticas de las palabras. Elimina el ruido de las subjetividades y deja la esencia del significado. ¿Por qué no necesitamos estar expuestos demasiadas veces a la palabra Automóvil para comprender su significado? Según el mecanismo propuesto, al estar expuestos a la palabra Coche y, más importante, a las palabras que rodean a Coche, es mucho más fácil comprender la palabra automóvil al estar también rodeada de un contexto muy parecido al de la palabra Coche (véase el contexto común en la Figura 6.1). Este hecho, acelera mucho la comprensión de la palabra Automóvil. El mecanismo de generalización se daría por la descomposición en valores singulares, que capta que ambas palabras se rodean de contextos parecidos, aun cuando no hayan aparecido nunca juntas. La descomposición en valores singulares es un mecanismo de reducción de información y de generalización. En esta técnica matemática todas las palabras dependen del resto. Las palabras que aparecen son tan importantes como las que no aparecen en un momento dado. Esta técnica hace cambiar la situación de las palabras con cada nueva exposición al lenguaje, pues el movimiento de una palabra implica el movimiento del resto. La descomposición en valores singulares es un tejido enorme de ecuaciones para representar cada término, de forma que un cambio en una ecuación mueve todo el sistema. La representación vectorial de las palabras cambia con cada nuevo contexto. El LSA es una herramienta que trata la semántica y, además, la trabaja con éxito. Consigue simplificar un sistema tan vasto y extenso como la semántica de las palabras al aunarlas en un espacio simplificado y reducido de dimensiones, un espacio semántico que tiene la capacidad de emular correctamente el comportamiento humano. Y esto lo ha hecho sin tener que recurrir apenas a estructuras u órganos innatos, sin las habituales restricciones mentalistas (Landauer y Dumais, 1997). Es verdad que el LSA no necesita los a priori comunes que se establecen en otro tipo de teorías más innatistas, pero tampoco sería justo decir que el LSA prescinde por completo de presupuestos mentalistas. Hay dos elementos que a nuestro juicio en la teoría del LSA son asunciones de lo que el cerebro tendría que hacer de forma natural, dos aspectos que al LSA le vienen dados. Por un lado al LSA le viene dada una separación natural de los contextos. El LSA toma como punto de partida los contextos, así que de alguna forma los creadores del LSA tendrán que suponer que la mente es capaz de separar de forma significativa unidades contextuales que se procesan como experiencias separadas. Debe haber algún mecanismo innato que prepare al cerebro para separar de forma natural los cambios en el ambiente (Dawkins, 2002). Por otro lado, está la asunción de que la mente es capaz de simplificar la acumulación de experiencias. Nos referimos a cómo llega el LSA a un espacio en el que se muestren las regularidades del lenguaje. La reducción de dimensiones es algo que también que le viene dado al LSA. Sin embargo estas dos asunciones no representan ningún punto de vista problemático, ya que Landauer y Dumais (1997) tampoco han negado organizaciones innatas en el cerebro que nos capacite para el lenguaje, aunque a decir verdad, también sería justo señalar que no justifican ni dan pruebas de cómo llegamos los humanos a hacer estas dos cuestiones, ni de si hay evidencias experimentales o de tipo neurológico que avalen de alguna manera estos hechos. El LSA es una teoría inmersa en el plano simbólico y sin conexión con el mundo Para Landauer, el LSA se sustenta en la noción de lenguaje del segundo Wittgenstein según el cual el significado depende de en qué actividad de la vida se dé el lenguaje. Para el filósofo, el significado de una palabra no tiene una referencia inamovible en el sentido de San Agustín, sino que depende del uso que se dé a la palabra. El segundo Wittgenstein no habla de contexto explícitamente, sino de actividad (Hadot, 2007). Lo que no queda demasiado claro es si Landauer y Dumais siguen todas las implicaciones de este gran filósofo, ya que para Wittgenstein el lenguaje no es una herramienta que dé luz a los pensamientos, sino que los constriñe (Pinker, 2002). ¿Los límites del lenguaje [...] significan los límites de mi mundo¿ dijo Wittgenstein. Tal vez Landauer y Dumais no lleven tan lejos lo que hay detrás de esta aseveración para la que el lenguaje representaría el medio de pensamiento, más que una herramienta que ayuda o complementa al pensamiento. Muchas de las teorías psicológicas del siglo XX han concebido el lenguaje así, hundiendo sus raíces en el concepto de tabla rasa. También la filosofía del pasado siglo ha estado salpicada con la noción de que lenguaje y pensamiento son una misma cosa, hasta llevarlo al extremo de los post-estructuralistas como Ronald Barthes o Jacques Derrida (Sebrelli, 2007). Muchas de estas ideas están detrás de la lingüística, cuya metodología fue adoptada por los estructuralistas y que defienden algo que ya hemos resaltado como crítica al LSA: la idea de que las palabras se definen por su relación con el resto de ellas. El lenguaje se sumerge en un círculo autorreferencial de modo que la forma natural de pensar en el lenguaje es como un sistema independiente de la realidad, un sistema arbitrario que no describe el mundo ni transmite pensamientos (Pinker, 2002). Lo más probable es que los creadores del LSA conciban el lenguaje no como una prisión del pensamiento, ni tampoco como una limitación del sujeto encerrado entre los límites del lenguaje. A la vista de la concepción actual de la psicología es más probable que conciban el lenguaje como un sistema abierto al mundo. Sin embargo, sea como sea, Landauer, Dumais y demás seguidores, no han salido del plano simbólico en el que se mueve la herramienta cuando proponen al LSA como teoría de adquisición de conocimiento, lo cual lo ha convertido en fuente de críticas por teorías diferentes entre las que destacan las teorías corpóreas (Barsalou, 1999; de Vega, 2002, 2005; Glenberg y Robertson, 2000; Zwaan, 2004). Landauer y Dumais, tampoco se han ocupado de refrendar sus opiniones a partir de evidencias neurológicas que correlacionen con su modelo. En definitiva, es realmente notorio y elogiable cómo Landauer y Dumais dan una solución al problema de la inconmensurabilidad de la experiencia para llegar a una representación del significado de las palabras. La sola propuesta de un mecanismo plausible ya es un ejercicio enormemente valioso, entre otras cosas porque muchos de los modelos de adquisición del lenguaje se ven imposibilitados a hacer simulaciones realistas ¿al menos en cuanto a cantidad de lenguaje (Landauer y Dumais, 1997). Que tal mecanismo utilice como base el contexto también es muy valioso al menos porque le da verosimilitud al modelo, no es un mecanismo en el que subyacen propuestas etéreas y sacadas ad hoc, más cuando el contexto recibe apoyo desde muchas teorías psicológicas (véase Venegas, 2006). Vemos que el LSA tiene un modelo del hombre más afín con la noción de tabla rasa, con el empirismo y con la idea de que el ser humano es altamente configurable o moldeable por la experiencia. Como teoría computacional, sin embargo, carece de una vinculación con el mundo, con lo corpóreo y con la realidad. ¿Qué pensamos del LSA entonces como modelo teórico?, ¿es esto todo lo que necesitamos para explicar la adquisición de significado? Para nosotros la respuesta es no. La elegancia con la que el LSA explica la adquisición de conocimiento no implica que dicha explicación sea correcta, al menos no completamente. A nuestro modo de ver el principal problema del LSA es que no sale del plano simbólico. Es un sistema encerrado en sí mismo y el ser humano es, como cualquier ser vivo, alguien que interacciona constantemente con el mundo que le rodea. Siguiendo el ejemplo de la habitación china de Searle (1980), si por un momento podemos imaginarnos a dos seres humanos que no hayan tenido el más mínimo contacto con el mundo real y que emitan indefinidamente signos arbitrarios resulta difícil pensar que alguna vez podrían comprender algo, incluso aunque esos signos que emiten sean contextualmente coherentes. Nuestra mente tal vez podría aprender que el símbolo X se relaciona mucho con el símbolo Y, pero al no haber nada que los haya conectado con el mundo, al no haber ningún tipo de referente, la lógica nos dice que X sería únicamente un símbolo carente de significado, lo mismo que Y. Todo esto entronca con una concepción muy mentalista, la del fantasma en la máquina (Pinker, 2002), la dualidad cuerpo y alma o la noción de que la mente es independiente del cuerpo. A nuestro modo de ver necesitamos un sustrato, un suelo en el que pisar, una conexión con el mundo, un modelo que al menos al principio parta de la realidad. Es cierto que Landauer, Dumais y otros han subrayado que el LSA no es una teoría completa de adquisición de la semántica, pero no han hecho hincapié tampoco en la necesidad de estrechar el lazo entre la persona y el mundo. Parece haber muchas evidencias a favor del innatismo lingüístico (Pinker, 1994), sobre todo en lo que a los aspectos formales del lenguaje se refiere (Chomsky, 1991), aunque también esta postura se ha llevado al campo de la semántica (Pinker, 2007). Por ejemplo, según Pinker (2007) hay argumentos a favor para defender la idea kantiana de que tenemos unos a priori en nuestro cerebro producto de siglos de evolución que nos permiten afrontar la experiencia. Los a priori que escoge Pinker de Kant son la sustancia, la causalidad y el espacio y tiempo. Para Pinker representan el contenido semántico básico de las palabras (sustantivos, verbos, etc), unas estructuras que nos posibilitan y además nos dirigen la comprensión del mundo. Por ejemplo, el verbo tirar podría comprenderse al principio como una acción que genera una fuerza en un espacio, fruto de una experiencia vivida por un niño (¿¡Juan, tírale la pelota al perro!¿). Por medio de estructuras innatas gramaticales tirar es la acción en un espacio que acomete un agente, Juan, y que tiene un objeto, pelota y un complemento indirecto el perro. La adquisición no es independiente del mundo, está enlazada en él. La causalidad, el espacio o el tiempo como artilugios mentales no se conciben como en tiempos de Kant. El concepto de espacio del cerebro no es equivalente a la geometría euclidiana, sino que responde a unas concepciones más intuitivas y más simples del espacio. Por ejemplo, el ser humano podría pensar en una carretera como algo que tiene una dimensión principal, como una línea. El tiempo tampoco es una categoría delimitada por trazos continuos y constantes y el ser humano suele conferirle una dimensión espacial: el tiempo visto en una línea en la que habitualmente ubicamos el pasado, el presente y el futuro. Tampoco la causalidad se interpreta en términos de la fuerza tal como la concibe la física clásica, sino como una imagen-esquema de dinámica de fuerzas (de Vega, 2005; Pinker, 2007 refiriéndose a la concepción de Leonard Talmy). Los a priori conectan el mundo con el lenguaje, el significado con nuestra realidad externa. Del mismo modo, las teorías corpóreas subrayan las evidencias neurológicas que han emergido en los últimos años que parecen mostrar el vínculo que hay entre el significado y las zonas sensoriales del cerebro, las neuronas espejo o las áreas motoras (de Vega, 2005). Comprendemos las palabras en estrecho vínculo con el mundo, comprendemos dentro de un modelo situacional y no a partir de unas entidades inamovibles. La palabra coche nos evocará cosas diferentes si estamos hablando del campeonato de fórmula 1 o si hablamos de un parking. Las palabras no se comprenden dentro de un círculo autorreferencial sin conexión con el mundo. ¿Cómo se podría simular en un ordenador todas estas experiencias por las que el humano aprende los significados de las palabras? Kintsch (2008) habla de distintos niveles de análisis (perceptual, emocional o motor) que lógicamente complican el asunto muchísimo para los modelos computacionales y él prefiere tratarlos de forma independiente más que integrados en un único sistema, ya que el estado actual de la ciencia no puede dar cuenta de estos modelos integrados. Volveremos sobre esto más adelante. Conciliar el plano simbólico del LSA con el plano más corpóreo Nosotros sin embargo, aun estando de acuerdo en estas limitaciones del LSA difícilmente salvables cuando tratamos de justificar la herramienta como una teoría de adquisición de conocimiento, también queremos rendir cuentas al plano simbólico, llegando a una postura conciliadora entre las teorías corpóreas y a las teorías computacionales. Nos unimos a la propuesta de Kintsch (2007, 2008) en la que habla de la necesidad de aunar el plano corpóreo con el plano simbólico. Vayamos por pasos. Por lo que sabemos, el LSA es capaz de simular correctamente muchos aspectos psicológicos del lenguaje. Como hemos visto hay sobradas evidencias de su éxito (Landauer, 2002; Landauer y Dumais, 1997; Landauer, Foltz et al., 1998). Si es capaz de eso es razonable postular que su representación de las palabras puede asemejarse a las que tenemos nosotros en el cerebro. Nosotros compartimos la opinión de Lowerse (2007) que plantea que la cuestión no es si la comprensión es simbólica o corpórea, sino hasta qué punto es lo uno y lo otro. Desde nuestro punto de vista la comprensión puede tener lugar en dos niveles de procesamiento, uno más inconsciente y simbólico, y luego otro que es más consciente y corpóreo. La parte más inconsciente sería un nivel de representación automático y superficial, capaz de procesar gran cantidad de lenguaje en un intervalo de tiempo muy breve. La activación simbólica que se realice a un nivel inconsciente pasaría a ser consciente en determinados momentos, lo que realmente se nos aparece a los seres humanos como comprensión. En esta fase más consciente, tal vez estrechamente vinculado a lo que tenemos en la memoria de trabajo, podríamos activar áreas sensoriomotoras en ese proceso en el que vinculamos los símbolos con el mundo. No proponemos ningún modelo específico de procesamiento de lenguaje, únicamente señalamos cómo podrían ser compatibles los dos planos, el simbólico y el corpóreo, en la comprensión y procesamiento del lenguaje. Ambos niveles probablemente interactuarían alimentándose mutuamente. Realmente, lo que queremos significar aquí es que es posible que el ser humano trabaje en parte con una representación meramente simbólica del lenguaje. Kinstch (2007) señala que este plano supone procesar como si estuviésemos consultando un mapa, aún no en vinculación directa con el mundo real, sino en un nivel que podríamos llamar isomorfo de segundo orden. Resulta muy atractiva su idea de por qué cuando consultamos un mapa no representamos el conocimiento directamente, sino que establecemos la relación entre significados. Por ejemplo, él considera lo que ocurre con algunas medidas físicas que podrían considerarse de primer orden y otras derivadas de ellas que serían de segundo orden. Si medimos la distancia en metros entre dos ciudades tendríamos una medida de primer orden. Si lo hacemos en términos de la velocidad tendríamos una medida derivada, de segundo orden. En el primer caso tenemos una representación de la distancia isomórfica de la realidad, una medida real, sin embargo, cuando decimos que tardamos 3 horas en llegar de una ciudad a otra estamos representando la distancia indirectamente, en términos de la velocidad. Una medida para los físicos muy útil son los años luz, para medir distancias astronómicas, que nos permite comprender la realidad mejor que si hablamos en distancias absolutas. Lowerse (2007) apunta en este sentido que cuando leemos un texto debería sorprendernos la enorme cantidad de palabras que procesamos y de la que no somos conscientes individualmente aunque, sin embargo, en conjunto, tengamos la apariencia de comprender lo que se nos dice. Este procesamiento se antoja muy superficial y automático, sería un procesamiento en el que los símbolos se relacionan entre sí. Sólo durante unos breves intervalos de tiempo parece que cierta información se activa en la mente conscientemente, sabemos de lo que estamos leyendo. Seguramente en el nivel simbólico, el procesar unos símbolos activan inmediatamente otros símbolos (lo que en LSA podrían ser vecinos semánticos) y sólo una porción relevante de esa activación simbólica es lo que finalmente vinculamos con el mundo, lo que se nos hace consciente y en la que los símbolos pasan a un plano más corpóreo, donde en la comprensión actúan otros planos como la creación de conceptos, la creación de imágenes o las emociones. Por supuesto, en este procesamiento simbólico, habría que explicar cómo y por qué se activan determinados conceptos, si se opera en la memoria a corto plazo o en otros sistemas, qué mecanismos hacen que se delimite una determinada información relevante y no otra, cómo opera en el cerebro este procesamiento simbólico, si es o no independiente de las áreas sensoriomotoras, si puede formar parte de un sistema autónomo o está vinculado con otros sistemas, etc. Desde nuestra modesta opinión, únicamente decimos que es posible que procesemos parte de la información a un nivel que puede ser puramente simbólico. Podría ser una cuestión de grado y ni siquiera dos planos de procesamiento (isomórfico de primer y segundo orden), un procesamiento en el que varía la automaticidad y la conciencia, de modo que hay algunos más inconscientes y otros más conscientes y vinculados con el mundo, no lo sabemos, sin embargo no parece una idea muy descabellada pensar que procesamos parte del lenguaje a un nivel simbólico. ¿Cuál es entonces nuestra lanza a favor del LSA? Si sospechamos que efectivamente parte de la información verbal la procesamos a un nivel simbólico y dado que el LSA parece simular bien tareas psicológicamente relevantes con la semántica del lenguaje, podríamos decir que el LSA es realmente una buena teoría de la representación del conocimiento. Lógicamente no es una teoría sobre el procesamiento del conocimiento. El conocimiento representado, además, sería a nivel simbólico, únicamente simbólico y resaltamos lo de únicamente porque ya hemos hablado de la insuficiencia e implicaciones de movernos exclusivamente en el plano simbólico. Kintsch (2008) ha expuesto también una idea muy reveladora. ¿Hasta qué punto el plano simbólico refleja o mimetiza adecuadamente el mundo real? La facultad del lenguaje no sería muy útil si no representase fidedignamente el mundo. Una facultad que evolutivamente ha podido emerger para comunicarnos debería ser un reflejo bastante bueno del mundo que representamos. Cuando Kintsch (2008) o Lowerse (2007) han comprobado si el plano simbólico se acerca más a lo corpóreo de lo que los críticos proponen (Glenberg y Robertson, 1999), han visto que la mimetización es mucho mejor de lo que parece. Ambos han utilizado algoritmos adicionales a partir de la representación vectorial del LSA (el algoritmo de predicación de Kintsch es el núcleo de sus experimentos; Kintsch, 2001). Por ejemplo, Lowerse (2007) muestra que los días de la semana contiguos se parecen más en el LSA que días separados, también los meses, o las ciudades cuando las medimos en distancias físicas. La representación simbólica, señala Lowerse, es más parecida al mundo de lo que se piensa. Kintsch (2008) muestra que cuando restringimos los contextos de las palabras (para Kintsch el espacio semántico del LSA es una representación demasiado libre de contextos), además de tratar adecuadamente el fenómeno de la polisemia, podemos emular efectos de priming semántico. Lo que estos autores han hecho en gran medida es trabajar con la representación simbólica del LSA para luego utilizarla con algoritmos adicionales que procesan esa representación. Han comprobado que los resultados a los que llegan contienen una correspondencia entre lo perceptual y lo simbólico mayor de lo que a priori podría parecer. Hay otro asunto sobre el que merece la pena llamar la atención y que podría ser muy revelador. Parece indudable que hay palabras que conocemos únicamente por su lectura (de hecho Landauer y Dumais (1997) han estimado que las personas aprenden tres cuartas partes del vocabulario a partir de la lectura), palabras que posiblemente nunca las hayamos oído en boca de nadie (o un número de veces escaso) y que sin embargo forman parte de nuestro acervo léxico. Palabras, además, que no hayamos consultado en un diccionario (como tantas otras) y que podemos declarar que conocemos. Probablemente sea difícil imaginarse cómo conocemos esas palabras si no es por el contexto en el que han aparecido. Estas palabras no tienen por qué comprenderse desconectadas del mundo, sino también de forma corpórea y en relación con el mundo, como el resto de las palabras. Si por ejemplo, imaginamos que la palabra cicatero no la hemos escuchado nunca sino solamente leído, su significado puede evocarnos lo mismo que otras palabras similares como ruin o mezquino, palabras que tienen, como las otras, su parte corpórea. Tal vez evoque una imagen de alguien desagradable dentro de una situación concreta o, por qué no, una emoción negativa. Lo importante de esto es que efectivamente, el contexto escrito puede proporcionarnos la base suficiente para aprender el significado de las palabras y en esta ocasión podemos derivar el significado de forma opuesta como cabría pensar con las primeras palabras que aprende un niño: a partir de experiencias perceptuales y con lenguaje oral. El símbolo ahora se ha asentado en el cerebro por la similitud de contextos en lenguaje escrito con otras palabras que ya conocíamos (ruin, mezquino) y acaba presentándose como una palabra que conocemos a un nivel mucho más vinculado con el mundo (imágenes, emociones, etc). Es decir, aprender palabras así supone ir de lo incorpóreo a lo corpóreo. Cicatero la primera vez que la vemos escrito no nos dice nada, pero cuando accedemos a su significado, ya sea por el contexto o por un diccionario, la vinculamos con el mundo y nos provoca situaciones y emociones. La virtud de esto es que no necesitamos únicamente la experiencia directa y real (más allá de lo escrito) para adquirir significados nuevos, sino unos mecanismos que permita generalizar nuestro conocimiento desde un plano simbólico a un plano más corpóreo. Por supuesto, resulta lógico esperar que, ontológicamente, el plano simbólico sólo se dé tras un número de experiencias significativas, experiencias vitales de las que el niño se ha beneficiado y no al revés. El niño no nace con símbolos lingüísticos de modo que en una primera instancia los símbolos no derivan en un conocimiento de primer orden o directo del mundo. ¿Cómo operan los mecanismos para la adquisición de significado de las palabras? Supongamos que el niño aprende la palabra malo porque ha escuchado muchas veces frases del tipo ¿¡No seas malo!, eso no se hace¿. Esa palabra el niño la asocia con situaciones negativas, como algo que suscita reacciones negativas en los demás, por ejemplo, en un principio el símbolo lo puede asociar con la imagen de sus familiares enfadados. La relación entre el símbolo y el mundo es de primer orden. El niño, un tiempo después, leerá o escuchará palabras como mezquino o ruin. Las palabras ruin y mezquino pueden aparecer en párrafos que lea el niño o que las escuche en su medio. Irá poco a poco asociando que esas palabras se rodean de situaciones negativas, sabrá que se asocian a un comportamiento inapropiado y que se refieren a una descripción de una persona. Paulatinamente, cabe esperar que los símbolos vayan aproximándose al significado de malo y a otras palabras afines. Veamos cómo emerge el conocimiento de la palabra cicatero. Tenemos que explicar su adquisición a través de la capacidad de inferir el significado, solamente a partir de lenguaje escrito y a través de relaciones indirectas. Al principio leemos la palabra cicatero y no la comprendemos. Un mes más tarde leemos la palabra cicatero nuevamente pero seguimos sin comprenderla. Entretanto, nuestro cerebro en un plano no consciente comienza a ubicar ese símbolo junto con símbolos como ruin o mezquino. De pronto un día, leemos un párrafo en el que aparece la palabra mezquino y desde ese momento sabríamos explicitar lo que significa la palabra cicatero. Hemos aprendido la palabra, tenemos un conocimiento que va más allá de la relación simbólica pues seríamos capaces de pensar en la palabra cicatero si nos preguntan por ella con una determinada imagen dentro de una situación o evocándonos una emoción negativa. A partir de ese momento podríamos definirla como en un diccionario, es decir, la conocemos directamente vinculada con el mundo, tenemos un léxico mental de la palabra y no sólo la conocemos a partir de otros símbolos. Hemos conseguido pasar de relaciones simbólicas o relaciones de segundo orden a un plano más directo y no hemos necesitado un número grande de exposición a la palabra cicatero para conocerla. El aprendizaje de las palabras comienza desde las experiencias vitales, desde la acción, desde la percepción y desde la emoción, no desde la lectura, y algunas de las palabras que se conocen por ahí serán las que sirvan de anclaje para que otras puedan comprenderse únicamente por su relación con otros símbolos. Nos serviremos para plasmar esta idea con la misma metáfora que Landauer y Dumais (1997) o Kinstch (2008) utilizan: un mapa. Si hemos tenido una experiencia directa de Jaca porque hayamos visitado esa localidad en alguna ocasión, podemos activar determinada información como montaña, nieve, frío, etc. Nuestro conocimiento de Jaca proviene de la experiencia directa y podríamos decir que nuestro conocimiento es de primer orden. Si ahora hacemos uso de un mapa (conocimiento isomórfico de segundo orden) repararíamos que Sabiñánigo cae próximo a Jaca, o que Jaca pertenece a la provincia de Huesca. Nuestro conocimiento de Sabiñánigo está restringido a su relación con las localidades próximas. Hasta ahora lo que el mapa nos dice es que Sabiñánigo es como Jaca. Sin embargo, un día emergerá la idea de que Sabiñánigo no es sólo como Jaca, sino que es un sitio montañoso, frío en invierno, con nieve, etc. Podemos tener un conocimiento de primer orden a partir únicamente de un conocimiento de segundo orden. El LSA tiene la facultad de ser un sistema que da el peso a la situación, al contexto, al menos en un principio, como motor para explicar el significado de las palabras. ¿Cómo opera la mente para pasar de un plano de relaciones simbólicas a otro más directo como pueda ser la imagen, los conceptos o las emociones? Kintsch (2008) responde a eso que no lo sabemos en el estado actual de conocimientos. Sin duda una teoría completa de adquisición de conocimientos tendría que explicar estas cosas. Resumiendo estas ideas podemos concluir lo siguiente. Dejando claro que el LSA no puede explicar algo tan importante como son las relaciones estrechas y directas que las palabras tienen con el mundo, redundando en la idea de que el LSA no sale del plano simbólico, también es cierto que se puede pensar lo siguiente: (1) Parte del procesamiento del ser humano se da a un nivel estrictamente simbólico, con lo cual el LSA podría situarse bien en ese nivel. La cuestión es hasta qué punto la comprensión se da a un plano corpóreo o simbólico, en lugar de tratarlos como dos niveles excluyentes (Lowerse, 2007). (2) Si el LSA encaja bien como teoría simbólica del significado de las palabras es por siguiente: (2a) porque simula correctamente muchas tareas psicológicas y (2b) porque el modelo tiene la virtud de explicar mecanismos que actúan con una cantidad ingente de lenguaje de manera que resuelve en parte un problema tan antiguo como es la pobreza del estímulo, lo cual de alguna manera lo hace más verosímil y (2c) porque las relaciones simbólicas (conocer a través de un mapa) mimetizan o reflejan mejor de lo que se piensa la realidad. La limitación de la sintaxis del LSA Hasta el momento nada hemos dicho sobre la otra limitación más fuerte del LSA: su ausencia de sintaxis. Desde luego, este hecho refuerza nuevamente la idea de que en el mejor de los casos estamos ante una teoría incompleta de la adquisición del significado. La sintaxis no sólo implica la forma adecuada de expresarse, también tiene mucho que decir sobre el significado de las oraciones. Kintsch (2008) ilustra la importancia de la sintaxis con un ejemplo de por qué el LSA podría beneficiarse de su conocimiento. Cuando el LSA procesa la frase ¿El feroz león mató a la gacela¿, al león y a la gacela se les asociará exactamente igual el adjetivo feroz pues ocurren en un mismo documento. Nosotros sabemos que teniendo en cuenta la información sintáctica el adjetivo se aplica al león, no a la gacela. De hecho, si las palabras león, gacela y feroz no volviesen a aparecer en ningún documento los cosenos entre león-feroz y gacela-feroz sería de 1. En el LSA la ocurrencia tomada a lo largo de porciones enormes de lenguaje harán que el adjetivo feroz termine asociándose mucho más con león que con gacela. La representación simbólica de las palabras es, como se ha demostrado, adecuada. Pero probablemente, si se tuviese en cuenta información de tipo sintáctico, las relaciones semánticas representadas serían mejores, simplemente más finas. Cuando las palabras están bien representadas en el corpus lingüístico, estas aparentes lagunas sintácticas son corregidas por la simple ocurrencia. Se puede pensar que para representar bien un espacio semántico de las palabras la sintaxis no tiene un efecto dramático. Realmente, como hemos comentado ya en varios puntos, el problema de la sintaxis se asocia más con la representación que el LSA tiene de oraciones. En las oraciones ya hemos comentado que el efecto de la sintaxis es grande (Kintsch, 2008; Wade-Stein y Kintsch, 2004) y que éste queda difuminado a medida que aumentamos el número de palabras. Kintsch (2008) opina que al nivel de oraciones sería muy conveniente que el LSA operara con proposiciones y no como ahora donde el significado surge de la suma de las palabras de la oración, con las consecuentes carencias que eso ocasiona. Por lo que a nosotros respecta, también opinamos que la sintaxis es una limitación que un buen modelo de adquisición de significados debe solventar. Lo hemos comprobado a la hora de evaluar resúmenes altamente conceptualizados, ya que, si bien los resultados han sido correctos, sabemos que extenderlos habría derivado en un sistema más fiable de evaluación. Entre las razones por las que las evaluaciones no han sido todo lo provechosas que hubiese sido deseable, cabe esperar que esté la ausencia de sintaxis. Conclusiones del LSA obtenidas a partir de los experimentos A la luz de los datos empíricos que hemos recogido a lo largo de estos años de trabajo se exponen a continuación varias consideraciones sobre el LSA. Por un lado, como hemos comentado ya, podemos decir que el LSA puede considerarse una teoría de la representación simbólica del significado. Es importante subrayar aquí el término representación puesto que el LSA no es una teoría del procesamiento del lenguaje. A lo largo de los experimentos y para salvar las limitaciones que encontramos con la herramienta se hizo más acuciante vincular el LSA con teorías más dinámicas del lenguaje y no tan estáticas como el propio LSA. Como referencia en alguno de los trabajos de investigación realizados en la tesis, se ha tomado el modelo de comprensión de Kintsch (1988, 1998) y que ha servido de base a algunos de los algoritmos con los que tratamos de dinamizar la herramienta (Olmos et al., en prensa). Otras mejoras pasan por optimizar la información matemática del espacio semántica (Hu et al., 2007). También creemos necesario que debe revisarse la solución matemática que arroja la descomposición en valores singulares, ya que pondera excesivamente las palabras más frecuentes en detrimento de las menos frecuentes, hecho éste que, aunque plausible, no es realista la desproporción entre un grupo de palabras y otras (McNamara, Cai et al., 2007). Los trabajos de investigación realizados con la herramienta han surgido por la necesidad de solventar limitaciones que encontrábamos con el LSA. Repasaremos en breve las conclusiones de acuerdo con los objetivos propuestos en el capítulo 2. Sin embargo, antes de ello es preciso señalar que, si bien los experimentos han sido impulsados por lagunas sobre las que no lográbamos respuestas satisfactorias en los experimentos precedentes, sí que es momento de declarar que consideramos, fuera de toda duda, que el LSA es una plataforma enormemente útil e interesante para manipular, trabajar y simular la semántica humana, sin ni siquiera incorporar nada que no venga de fábrica por la herramienta. El LSA tiene, entre otras virtudes remarcables, el hecho de que posibilita trabajar con volúmenes vastísimos de lenguaje porque los transforma en un espacio computable y mucho más reducido. El LSA hace manejable lo que en principio es inabordable. Además, es innegable que el LSA funciona cuando simula juicios humanos. Al margen de las consideraciones como modelo o herramienta, comentadas en la sección precedente, nos centraremos en los aspectos empíricos con los que hemos trabajado en la tesis. Métodos de evaluación Como primera conclusión y en relación al primer experimento (León et al.., 2006) podemos decir que el LSA es capaz de evaluar resúmenes breves, concisos y altamente conceptualizados (máximo de 50 palabras), si bien se mejoran los resultados cuando se complementan los métodos convencionales (Foltz et al., 1999; Landauer, Laham et al., 1999; Landauer y Dumais, 1997, Wade-Stein y Kintsch, 2004) con otros nuevos (Olmos et al., en prensa). Del primer experimento podemos sacar dos cuestiones fundamentales. Por un lado, de los métodos clásicos son mejores los métodos holísticos que los métodos componenciales. Además, dentro de los métodos holísticos, los que mejores resultados reportan son el método de los resúmenes preevaluados (pregraded¿ungraded summary) y el método de los expertos (summary¿expert summaries). Ambos métodos son los que más se citan en la literatura (Dessus y Lemaire, 2002; Foltz et al., 1999; Landauer, Laham et al., 1999; E. Kintsch et al., 2007). Sin embargo, nosotros preferimos el método de los expertos, ya que el método de los resúmenes preevaluados requiere una evaluación previa de un banco de resúmenes por parte de los jueces. El método de los expertos precisa únicamente que varias personas escriban un resumen ideal con el que se puedan comparar semánticamente los textos de los estudiantes. La segunda conclusión que se puede extraer del primer experimento es que el LSA evalúa mejor contenidos que coherencia. Como corresponde a una herramienta que destaca por la representación de contenidos semánticos, es lógico que obtuviésemos unas evaluaciones más fiables en la parte que hacía referencia a los contenidos y resultados menos prometedores en la parte que evaluaba la coherencia de los resúmenes. Por eso hemos encontrado que, en general, el LSA evalúa mejor los resúmenes del texto expositivo que los del texto narrativo (véase resultados similares en Wolf, 2005). Un texto expositivo se caracteriza más que uno narrativo en la presentación de un determinado número de tópicos. Además, son textos mucho menos metafóricos en general, sobre todo si son científicos. El LSA tiene más facilidad para evaluar hechos factuales que conceptuales (Landauer, 1998). La coherencia, tal y como la evaluaron los jueces, hacía mención a la organización del resumen, al uso de conectivas, al grado de conceptualización o síntesis o a la falta de redundancia en las ideas. La evaluación de los contenidos se hizo puntuando su presencia y no puntuando la ausencia de éstos. Pues bien, el LSA evalúa de forma más fiable los contenidos que la coherencia. Nuevos algoritmos en la evaluación de resúmenes Los nuevos algoritmos propuestos (Olmos et al., en prensa) para la mejora en las evaluaciones de los resúmenes están inspirados en el algoritmo de predicación de Kintsch (2001), las ideas de Denhière et al. (2007), las extensiones matemáticas del LSA por parte de Hu et al. (2007) o el artículo en el que Rehder et al. (1998) analizan las distintas medidas del LSA. Este experimento pone principalmente de manifiesto la necesidad de dinamizar el LSA, ya sea vinculándolo con teorías como el modelo de comprensión de Kintsch (1998) o potenciando las matemáticas que se pueden derivar del espacio semántico latente (Hu et al., 2007). En este experimento se añaden algoritmos adicionales al LSA dándole un tratamiento más psicológico que el que se le suele dar. Los resultados muestran resultados prometedores, especialmente cuando se trata de utilizar las dimensiones del espacio semántico latente que más contribuyen a mejorar las simulaciones de los juicios humanos. En este algoritmo, llamado algoritmo de las mejores dimensiones, subyace la idea de que cuando evaluamos los humanos únicamente utilizamos la información semántica más relevante para la tarea y no toda la que tenemos en la memoria semántica. Del mismo modo, se puede utilizar únicamente la información más relevante del espacio semántico del LSA en relación a la tarea propuesta y no todo el espacio semántico, como usualmente se hace con el LSA. Con este algoritmo no se pasa de concebir el LSA como una teoría de la representación simbólica del significado, pero probablemente sí se consigue gestionar mejor dicho espacio representacional. Por su parte, el segundo algoritmo propuesto, el algoritmo del conocimiento previo y que está basado en las ideas de Kintsch (2001, 2002), pone de manifiesto la necesidad de incorporar información a los vectores del LSA, más allá de lo explicitado en el texto. Cuando leemos ponemos en marcha el conocimiento previo que tenemos sobre la materia para ayudarnos a comprender mejor. El LSA puede utilizar también su conocimiento previo. Su conocimiento previo no es más que los corpus con el que el LSA está entrenado. Con los corpus podemos enriquecer los vectores y sacar más partido a la herramienta. Este algoritmo trata entonces de enriquecer el vector resumen con la información semántica que mejor haga de puente entre el resumen y el texto resumido, de manera que al resumen se incorporen vecinos semánticos que estén en estrecha relación con el texto. Los mejores resúmenes se enriquecerán con información más relevante y al revés sucederá con los peores resúmenes. Con este algoritmo, tratamos de dinamizar el LSA, es decir, procurar que la herramienta sea algo más que un espacio de representación simbólica de las palabras y más un sistema que procesa dinámicamente el lenguaje. Para mostrar si estos algoritmos son mejores es preciso cotejarlos con nuevo material (más textos y más resúmenes), ya que la potencia de estos análisis fue demasiado escasa al contar con un N para cada grupo de cuatro. Bien es cierto, que el algoritmo de las mejores dimensiones alcanzó mejoras estadísticamente significativas y el algoritmo del conocimiento previo siempre se situó por encima del algoritmo estándar del LSA. En general, creemos que este artículo sigue la línea experimental de autores que tratan de extender el LSA hacia teorías más psicológicas (Dehière at al., 2007; Hu et al., 2007; Kintsch, 2001, 2002). Es cierto que echamos en falta en este experimento tal vez resultados más sustantivos (y ya no sólo significativos) en lo que a mejores prestaciones del LSA se refiere. Sea como sea, es recomendable extender la utilización del LSA con teorías psicológicas más dinámicas sobre procesamiento del lenguaje, ya que esto puede derivar en mejoras muy relevantes en las tareas que requiera simular juicios semánticos humanos. Por decirlo sucintamente, la base está, ahora hace falta gestionarla mejor. Integrar la medida de la similitud semántica y la longitud del vector En el último experimento sobre evaluación de resúmenes breves tuvo como meta integrar en un método de evaluación la información de la similitud semántica junto a la de la longitud del vector. Planteamos un método de evaluación en el que con una recta de regresión pronosticamos en un banco de aproximadamente cien resúmenes las evaluaciones promediadas de cuatro jueces expertos. Las variables independientes fueron precisamente la longitud del vector y la similitud semántica. Cuando se valida la ecuación de regresión en una muestra distinta con la que se calcula, encontramos que las calidades en las evaluaciones del LSA mejoran significativa y sustantivamente en relación a los métodos convencionales. Éstos únicamente utilizan información de la similitud semántica y no tienen en cuenta la longitud del vector (Foltz et al., 1999; Landauer, Laham et al., 1998). Cuando las evaluaciones del LSA se hacen sobre textos extensos, prescindir de la longitud del vector no es un inconveniente, pero cuando se trata de textos sumamente breves y conceptualizados, es un derroche no tener en cuenta esta información del espacio semántico. En este estudio vemos que combinar la información de la similitud semántica con la longitud del vector, por lo tanto, es una clara mejora en los métodos de evaluación de textos breves. Además, comprobamos que la sensibilidad del LSA en relación a los jueces para detectar diferentes calidades en los resúmenes de distintos niveles académicos fue la misma para el texto expositivo y algo peor para el texto narrativo. Con este método integrador se consigue simular mejor los juicios humanos. Este experimento está más centrado en el LSA como herramienta y desde ese punto de vista fue en el único que conseguimos dar con un método de evaluación de textos breves realmente equiparable al de los jueces humanos. Con este método, en los resúmenes del texto expositivo se logra una fiabilidad de 0,82, resultado que lógicamente consideramos muy positivo. El principal interés de este experimento es la puesta de relieve en las ganancias que se obtienen cuando se utiliza mejor la información del espacio semántico latente (similitud semántica y longitud del vector conjuntamente). El papel de los corpus en la evaluación de textos El último experimento realizado analizó el papel de los corpus lingüísticos en la calidad de las evaluaciones del LSA (Olde et al., 2002; Olmos et al., 2009). Los resultados mostraron que hacer corpus demasiado ceñidos a la materia de evaluación no resulta adecuado. Una diversificación en los corpus mejora el rendimiento del LSA. La ampliación del contexto de las palabras sin salirse de la materia es la mejor opción en el sentido de que proporciona un espacio semántico tan fiable como un corpus muchísimo más extenso. De modo que es posible conseguir resultados parejos a un corpus de tipo generalista como el que analizamos de Boulder, recogiendo unos cuántos documentos sobre la temática objeto de evaluación, pero sin que los documentos sean calcos del texto instruccional que se pone a prueba. La regla obtenida en el análisis de corpus se puede resumir diciendo que para el ámbito de evaluación basta con tener un corpus de aproximadamente medio millar de documentos para alcanzar los resultados que se obtendrían con un corpus muchísimo más extenso. Este corpus es de dominio específico y debe recoger la temática sobre la que se evalúan los estudiantes. Sin embargo, condensar excesivamente la materia no diversifica adecuadamente los contextos de las palabras y esto representa un déficit para el LSA. El análisis de los corpus en relación al LSA es una de los mayores retos para el futuro y es un campo a nuestro entender muy inexplorado. La lingüística aquí tendría mucho que aportar y enseñar. El LSA como herramienta hemos visto que tiene muchos parámetros de los que depende su funcionamiento (lematizadores, parseadores, ponderaciones, dimensionalización, etc., ver una revisón en Jorge-Botana et al., enviado). Sin embargo, aun teniendo en cuenta la importancia de los aspectos anteriores, el LSA fundamentalmente es el corpus con el que entrene. Calibrar un buen corpus es sin lugar a dudas importantísimo de cara a un buen funcionamiento del LSA. En nuestro trabajo apenas aportamos unas pequeñas pinceladas a la cuestión. Seguramente la implicación más importante de este pequeño trabajo, es que en el ámbito de la evaluación, cualquier investigador que disponga de algo de tiempo e interés, se podrá confeccionar su propio corpus para lograr evaluaciones buenas del material escrito que pretenda valorar. Reflexiones finales sobre el LSA ¿Cuáles son los principales problemas a los que se enfrenta el LSA a la luz de nuestros resultados? (1) En primer lugar, el LSA tiene problemas para analizar textos breves, si bien hay fórmulas que mejoran sus prestaciones. Prácticamente, todos los trabajos experimentales han estado centrados en esta limitación y en formas alternativas que permitan superarla. El material escrito con el que hemos trabajado, en ocasiones apenas alcanzaba una o dos oraciones. Encontramos que el LSA en su forma estándar, encuentra problemas cuando trabaja con un nivel de análisis oraciones. Aquí es cuando al LSA la sintaxis le afecta más que nunca, donde el significado depende más de ella (Wade-Stein y Kintsch, 2004). La gramática y la semántica no son dos campos independientes. La gramática, en el mejor de los casos, constriñe y acota el significado. Con textos pequeños es normal que el LSA encuentre problemas y representa una de las limitaciones más serias. (2) El segundo lugar, podemos concluir que el LSA, si se concibe como teoría, lo es de la representación simbólica del significado de las palabras. Esto en sí mismo no es un problema, pero sí que constituye una limitación si no se tiene en cuenta este hecho. ¿Por qué? Porque también a la vista de los experimentos parece necesario para obtener mejores simulaciones de los juicios semánticos gestionar mejor este espacio en el que se representa la semántica. El espacio semántico es de por sí demasiado estático (por ejemplo cuando trata con textos breves). Es importante gestionar adecuadamente este espacio. Se precisa acompañar a la herramienta con algoritmos adicionales (Kintsch, 2001). Los algoritmos, además, deben venir sustentados por teorías del lenguaje, teorías psicológicas o, en general, teorías bien asentadas. El problema de los algoritmos ad hoc, en palabras de Landauer y Dumais (1997) como crítica a las teorías innatistas, es que cuando son tan específicos sólo funcionan en tareas muy concretas, pero pierden toda su generalidad cuando se trata de aplicarlas a otros campos. Los algoritmos que hemos añadido al LSA mejoran la herramienta, pero está por ver si no son demasiado específicos para las tareas para las que los diseñamos (Olmos et al., en prensa). (3) En tercer lugar, el LSA es una teoría que se mueve exclusivamente en el plano simbólico. Presenta el problema de que el conocimiento se presenta en relación a sí mismo. El LSA queda desconectado del mundo y del pensamiento. El espacio semántico es autorreferencial. Una palabra significa lo que significan sus vecinos semánticos, y éstos significan a su vez lo que significan sus vecinos y estos últimos igual. El LSA tiene problemas con el lenguaje metafórico, el lenguaje en el que los vecinos semánticos se alejan mucho más que en el lenguaje ordinario. En ese sentido tienen razón Glenberg y Robertson (2000). Cuando el lenguaje se aleja de sus usos cotidianos LSA tiene problemas. Con nuestro material no hemos encontrado resúmenes metafóricos. Podemos decir que todos estaban pegados a los textos, pero seguramente las evaluaciones de resúmenes más creativos hubiesen quedado por debajo de las evaluaciones de los jueces humanos, mucho más preparados para interpretar significaos sutiles no pegados tanto al texto. Este plano meramente simbólico en el que se mueve el LSA precisa también de algoritmos que le permitan comprender mejor las metáforas (Kintsch, 2000). (4) En la forma estándar como funciona el LSA una palabra polisémica únicamente tiene un significado. Eso no es así en los humanos, donde enseguida a través del contexto sabemos que una palabra significa una cosa mientras que en otro contexto significa otra. Esto, también lo proponemos como un problema de la herramienta. También aquí requiere el LSA algoritmos adicionales que constriñan los contextos (Jorge-Botana et al., en prensa, Kintsch, 2001). Tiene mucho que ver con la idea de las teorías corpóreas que señalan que una palabra la entendemos de distinta forma dependiendo del contexto en el que aparezca. Esto es justo lo que propone, pero trabajando en un plano simbólico, Kintsch (2001). Nuevamente se pone de manifiesto que a la representación simbólica del LSA hay que gestionarla (procesarla) desde teorías bien establecidas. ¿Y cuáles son las virtudes del LSA? A nuestro modo de ver, los dos aspectos más sobresalientes del LSA desde un punto de vista teórico son, por un lado, que el conocimiento semántico se deriva de las relaciones que las palabras tienen con sus contextos. Segundo, que mediante un algoritmo matemático se establecen las relaciones fundamentales entre las palabras y se desechan las relaciones espurias. Hablando en términos de LSA, sus dos virtudes son, que el conocimiento semántico se derive de una matriz de ocurrencias de términos por documentos y que esa matriz se descomponga en sus elementos relacionales fundamentales a través de la descomposición en valores singulares. Que el conocimiento semántico se derive de la matriz de términos por documentos es la forma que tiene el LSA de aprender a partir de la experiencia. Que el conocimiento semántico tenga sentido dentro de esa matriz tan vasta reduciendo el número de componentes es la forma que el LSA tiene de generar un mecanismo para inferir regularidades. La formulación es elegante por su simplicidad y atractiva porque trata de dar una explicación al problema de la pobreza del estímulo. Por otro lado, las virtudes del LSA como herramienta son palpables y ampliamente contrastadas. Para nosotros es bastante sencillo mencionar la virtud principal del LSA: la representación simbólica de las palabras. En la tesis hemos visto las posibilidades de la herramienta en el campo de la evaluación de textos. Utilizar el LSA en el ámbito educativo es sin duda una ventaja para descargar trabajo a los docentes, para crear tutores informáticos que ayuden a los estudiantes de forma inteligente y para analizar los textos desde un punto de vista semántico (coherencia del texto, su dificultad a priori, la relación con el resto de materiales, etc.). Del LSA se puede decir que capta la semántica humana de forma correcta en el plano simbólico. La representación vectorial de los términos o de los documentos permite aplicaciones en múltiples campos. El LSA es, en definitiva, una herramienta muy útil a la que se debe seguir sacando partido. ¿Cuál es el futuro del LSA? La inteligencia artificial es un campo vertiginoso. El LSA es una propuesta más y especialmente buena, dentro de este campo científico. Es difícil saber qué le deparará al LSA, pero precisa de nuevos modelos que incorporen sintaxis como ha hecho Dennis (2007) o nuevos modelos más conceptuales y que liguen más el pensamiento con el lenguaje, como es el caso del Topic model de Steyvers y Griffiths (2007). Esta última propuesta es especialmente interesante, ya que propone un modelo matemático parecido al LSA, aunque el sustrato teórico es más psicológico. Según estos autores el lenguaje se deriva de tópicos. En este modelo los tópicos actúan como una clase latente y hay que descubir cuáles tienen más probabilidad de generar los documentos. Es un adelanto muy serio al LSA que habrá que ver si en los próximos años consigue abrirse paso y consolidarse. Además, este modelo está incorporando información sintáctica. El tiempo dirá si consigue simular mejor los juicios semánticos, pero en principio parece muy prometedor. En el campo educativo el LSA tiene un papel también prometedor. Graesser, McNamara, Louwerse y Cai (2004) han creado una herramienta llamada Coh-Metrix que calcula con varios cientos de índices la legibilidad, la coherencia, la cohesión y, en definitiva, la dificultad de los textos. Dentro de esta herramienta está el LSA como uno de sus pilares. Los autotutores como Summary street (Wade-Stein y Kintsch, 2004) o el propio Autotutor (Graesser et al., 2000) se extienden por centro escolares en algunos estados estadounidenses. Los evaluadores automáticos también se extienden (Dikli, 2006) y el ellos el LSA juega un papel muy importante. Empresas como Pearson se han hecho con el LSA presumiblemente para introducirlo en el ámbito académico. En suma, el LSA es un hito muy valioso entre las teorías computacionales que simulan el comportamiento humano. Esta herramienta o las que le sucedan, seguirán un camino muy fructífero en los años venideros, en los que seguramente se nos sorprenderá ante las nuevas posibilidades, los retos y los desafíos capaces de resolver.