Newsgroup: it.cultura.linguistica.italiano
Titolo: AAA Cercasi idee per Lemmatizzatore Automatico

Sono un laureando in Informatica...
Sono difronte ad un problema che mi appare mostruosamente spinoso:
                LA LEMMATIZZAZIONE AUTOMATICA
    C'è qualcuno in grado di suggerirmi articoli, libri, links, algoritmi,
idee (anche folli) che mi
possano fare strada verso la sua soluzione?
                                Grazie!

...

Intanto ti riporto un passo che ho trovato sul web all'indirizzo:
http://www.eulogos.it/Glossario.htm#polirematica
Magari chiedi a loro...
---------------------------------------------------------------------------------------------------------
      Lemmatizzazione
Per lemmatizzazione si intende quel procedimento che noi tutti facciamo quando incontriamo una parola e la cerchiamo in un
dizionario.
Per esempio, chi s'imbattesse nella parola "porto" e non ne conoscesse il significato, aprirebbe il dizionario e cercherebbe ... che
cosa? È proprio qui il problema: il lettore umano che conosce la lingua italiana, sa bene che se volesse trovare "porto" dovrebbe
cercare "porto", ma anche "portare" e "porgere", e in base al contesto stabilire quali dei tre vocaboli è quello giusto, cioè
disambiguare. Ma per l'elaboratore non è così semplice: fino ad oggi, gli elaboratori, per quanto veloci siano e per quanto
articolati possano essere i programmi, non possono capire un testo. Per dirla in modo più scientifico, un elaboratore non può
accedere al piano semantico del testo.
Disambiguare per un programma di elaboratore è un po' come stabilire il colore di oggetti di forma diversa avendo gli occhi bendati.
Sono stati fatti diversi tentativi per ottenere, da parte di un programma di elaboratore, un comportamento analogo a quello della
comprensione, almeno per gli aspetti relativi alla lemmatizzazione. I tentativi fatti, tra i quali molto interessanti quelli con le
reti neurali (vedi [Parisi-Castelfranchi 1987]), sono riusciti a ottenere risultati degni di nota su testi predigeriti, e non su
testi qualsiasi.
Il problema della comprensione del testo è molto sentito anche per chi si occupa di traduzione automatica. La Comunità Europea, per
esempio, ha investito ingenti risorse in questo settore (il servizio traduzioni della Comunità Europea è il più grande e complesso
del mondo), ma i programmi non sono ancora sufficientemente affidabili su testi non controllati, e comunque la traduzione deve
essere almeno controllata, e spesso rivista, da un operatore umano.
A questi problemi se ne aggiunge un altro. Il programma di un elaboratore lemmatizza in base a un proprio dizionario di macchina,
che contiene i dati morfologici sui lemmi e altri dati utili. Quando il programma si imbatte in una parola che non corrisponde a
nessuna di quelle che conosce, segnala il fatto all'operatore, che deciderà se inserire la forma nel sistema (sia come nuovo lemma
che come forma di un lemma già noto). Ma che cosa succede quando la forma appartiene a un lemma non presente nel dizionario di
macchina ed è però omografa a quella di un lemma presente? In questo caso il programma non può segnalare che la parola è sconosciuta
perché la può lemmatizzare, né può segnalare che appartiene a un lemma che non conosce perché, appunto, non lo conosce.
In alcuni lemmatizzatori il problema delle lemmatizzazioni possibili ma sconosciute è stato affrontato creando un meccanismo di
predizione, che cerca di ricostruire il lemma di un'occorrenza anche attraverso regole generali. Questa soluzione, concettualmente
valida, ha l'inconveniente di dare spesso risultati di fantasia, mettendo il lista di frequenza lemmi inesistenti o impropri
("bottone" alterazione di "botto", "guanciale" forma con pronome di "*guanciare", ecc.).
La soluzione migliore finora adottata è costruire un dizionario di macchina completo, cioè tale che per ogni forma riconosciuta
siano presenti tutti i lemmi che la possono produrre. Anche se non è possibile avere l'assoluta certezza della completezza (la
lingua riserva sempre sorprese), tale soluzione permette di ottenere lemmatizzazioni molto affidabili.
Spero ti sia utile.
--
Er Roscio.