Desambiguación lingüística

En el ámbito de lalingüísticacomputacional, ladesambiguacióndel significado de las palabras es un problema abierto de procesamiento del lenguaje natural, que incluye el proceso de identificar con qué sentido se usa una palabra en lostérminosde una oración, o cuando la palabra en cuestión tienepolisemia, es decir, una pluralidad designificados.
La solución de este problema afecta a otras tareas de la lingüística computacional, tales como el discurso, la mejora de la relevancia en losmotores de búsqueda, la resolución de referencia, lacoherencia textual(lingüística), lainferencia, y otros.
Si se consideran dos ejemplos de los diferentes significados que existen para la palabra "vela":
y las oraciones:
Para un ser humano, es evidente que en la primera frase se utilice la palabra "vela", como primer significado, y en la segunda frase, la palabra "vela" está siendo utilizada con el segundo. El desarrollo dealgoritmospara reproducir esta capacidad humana (desambiguar el significado) a menudo puede ser una tarea muy difícil.
En casos como el presentado, al menos algunos significados son diferentes. Sin embargo, en otros casos los diferentes significados pueden estar estrechamente relacionados (al ser un significado una extensiónmetafóricametonímicade otro) y, en tales casos, la división de las palabras a sus significados se vuelve aún mucho más difícil.
Losdiccionariosy lostesaurosproporcionan diferentes divisiones de las palabras en sus significados. Una solución que algunos investigadores han usado consiste en elegir un diccionario particular, y sólo utilizar el conjunto de significados allí registrados. Sin embargo, los resultados de búsqueda al utilizar distinciones más amplias en los significados han sido mucho mejores.
Otro problema es lavarianzadeljuez interno. Los sistemas de desambiguación del significado de la palabra (WSD, por sus siglas eninglés,word sense disambiguation) por lo general se ponen a prueba al comparar sus resultados con los de un ser humano. Sin embargo, si se da una lista de significados y oraciones, los seres humanos no siempre coincidirán en qué palabra pertenece a qué significado. No se puede esperar que una computadora ofrezca un mejor rendimiento en esa tarea que un humano (de hecho, ya que los seres humanos sirven comoestándar, el hecho de que elcomputadorsea mejor que el ser humano no tiene sentido), por lo que el rendimiento humano funciona como un límite superior. El rendimiento humano, sin embargo, es mucho mejor engranularidadgruesa que engranularidad fina, así que otra vez ésta es la razón por lo que la investigación sobre las distinciones sobregranularidad gruesaes más útil.
Algunos investigadores sobreinteligencia artificial, comoDouglas Lenat, argumentan que no se pueden analizar los significados de las palabras sin alguna forma deontologíadesentido común. Por ejemplo, compárense estas dos oraciones:
"Jill y María son hermanas." - (Son hermanas entre sí.)
"Jill y María son madres." - (Cada una es independientemente una madre.)
Para identificar correctamente los significados de las palabras, hay que conocer los hechos de sentido común. Además, a veces el sentido común es necesario para eliminar la ambigüedad de palabras tales como lospronombres, en caso de que tengananáforasocatáforasen el texto.
Como en todo procesamiento dellenguaje natural, existen dos enfoques principales para la desambiguación del significado de la palabra: enfoque profundo y enfoque superficial.
El enfoque profundo supone el acceso a un amplio conjunto de conocimiento del mundo, que permite determinar en qué sentido se utiliza la palabra. Estos enfoques no son muy exitosos en la práctica, principalmente porque tal cuerpo de conocimientos no existe en un formato legible por el computador, fuera de ámbitos muy limitados. Sin embargo, si ese conocimiento sí existe, entonces los enfoques profundos serían mucho más precisos que los enfoques superficiales. Además, hay una larga tradición en lalingüística computacional, de tratar estos enfoques en términos de conocimientos codificados y en algunos casos, es difícil decir con claridad si el conocimiento en cuestión es lingüístico o conocimiento del mundo. El primer intento fue el deMargaret Mastermany sus colegas, en la Unidad de Investigación del Lenguaje deCambridge, enInglaterra, en la década de 1950. Este intento de utilizar como dato unatarjeta perforada, versión deldiccionario de sinónimosdeRogety sus cabezas numeradas, como un indicador de los temas y espera para las repeticiones en el texto, utilizando unalgoritmodeintersección de conjuntos. No tuvo mucho éxito, como lo describen detalladamenteY. Wilksy sus colaboradores (1996), pero tenía una relación fuerte con el trabajo venidero, especialmente lamáquina de Yarowskypara el aprendizaje de optimización de un método de diccionarios de sinónimos en la década de 1990.
Los enfoques superficiales no tratan de entender el texto, sino que consideran las palabras circundantes, utilizando la información como "sivelatiene las palabrasmarola pescacerca, probablemente lo es en el sentido de los peces, y sivelatiene las palabrasmúsicaocancióncerca, es probable que sea en el sentido de la música". Estas reglas se pueden obtener automáticamente por la computadora, utilizando uncorpusde formación de palabras con el sentido de las palabras. Este enfoque, en teoría tan poderoso como los enfoques profundos, da mejores resultados en la práctica, debido al limitado conocimiento del mundo del ordenador. Sin embargo, puede ser confundido por otras frases.
Estos criterios establecen normas de trabajo mediante la definición de N palabras del contenido en torno a la ambigüedad de cada palabra en el cuerpo, y el análisis estadístico de las N palabras alrededor. Dos enfoques poco profundos utilizados son losclasificadores de Bayesyárboles de decisión. En una investigación reciente, los métodos basados en elkernelcomo, por ejemplo, las máquinas desoporte vectorial, han demostrado un rendimiento superior en el aprendizaje supervisado. Pero en los últimos años no ha habido ninguna mejora en el rendimiento de ninguno de estos métodos.
Es instructivo comparar la palabraproblemaen sentido de desambiguación con el problema de la parte del discurso. Ambas implican ambigüedades o etiquetado de las palabras, ya sea con los sentidos o de partes de la oración. Sin embargo, losalgoritmosutilizados para uno no suelen funcionar bien para el otro, principalmente porque la parte del discurso de una palabra está determinada principalmente por las dos o tres inmediatamente adyacentes, mientras que el sentido de una palabra puede ser determinado por palabras más alejadas. La tasa de éxito para una parte de los algoritmos de discurso es en la actualidad mucho mayor que la de WSD (la técnica está en torno al 95% de precisión o mejor, en comparación con menos del 75% de precisión en la desambiguación de palabras con aprendizaje supervisado). Estas cifras son comunes eninglés, y pueden ser muy diferentes en otros idiomas.
Otro aspecto de la desambiguación del sentido de la palabra que la hace diferente es la disponibilidad de datos de entrenamiento. Si bien los usuarios pueden memorizar todas las posibles palabras de las partes del discurso, es imposible para las personas memorizar todos los sentidos que una palabra puede tener. Así, muchos algoritmos utilizan semi-aprendizaje supervisado en la desambiguación en el sentido de la palabra, que permite tanto los datos etiquetados como los que no lo están. Elalgoritmo de Yarowskyfue un ejemplo de ese tipo de algoritmo, en el cual las palabras tienden a exhibir un solo sentido en el discurso más concreto y en una colocación determinada.