Newsgroup: it.comp.appl.access
Titolo: Voi come fareste?

Ho una serie di testi (alcune migliaia), devo trovare le parole più 
ricorrenti all'interno di essi (l'insieme, non i singoli testi) e contare le 
occorrenze, esclusi alcuni termini non significativi tipo preposizioni, 
articoli, ecc., contenuti in una lista precostituita.
Posto che si dovrà ciclare sui testi, posto che vorrei fare una procedura il 
più veloce possibile data la mole di dati, posto che i termini al top della 
lista risultante dovranno essere conservati per un uso futuro, come 
impostereste la cosa?
Salvataggio su DB significa un miliardo di query (per vedere se la parola è 
già stata memorizzata e poi per incrementare il contatore).
Matrice significa una matrice enorme, presumibilmente con migliaia di righe, 
temo di piantare il PC.
Scrittura su fila significa un miliardo di accessi al disco, temo di fare 
una cosa lentissima.
Accetto consigli e link.
Grazie.
 
L.
 
 

Luciano (DOC) <lucia...@luciano.doc> ha scritto:

Io credo che la cosa vada "provata"... tu parli di migliaia di testi
(immagino libri, come da discussione precedente), per cui, con centinaia
di pagine e migliaia di parole ognuno di esso. Gia' e' da capire la
"fonte" (cioe' i testi dei libri) in che formato li hai, e quindi su che
tipo di dati iniziali puoi fare affidamento. "txt"? non credo visto che
oltre a un certo n. di caratteri non pare vadano... "doc"? bhe', leggere
eventualmente un doc, e portarselo internamente al DB puo' essere utile
per riprendere poi nel tempo i dati e rianalizzarli, ma sarebbe
dispendioso in termini di spazio e ridondante in termini di tempo (se
leggi, puoi analizzare mentre leggi, e non rianalizzarlo dopo). Questo
pero' fatto per i "migliaia" di testi, la vedo tosta... Ad occhio e croce
io propenderei per la matrice, e inizierei a verificare le prestazioni sul
campo... e' un argomento troppo particolare per avere delle idee a
riguardo senza aver prima "provato". 
 
-- 
------------
Pablitomf
Napoli sempre nel "Q"uore!
"mammasantissima" si nasce, non si diventa.
 

 riguardo senza aver prima "provato".
 
Speravo che a qualcuno fosse già capitato di lavorare su una cosa simile.
Grazie per il suggerimento.
Ciao,
 
L. 
 


Credo che le parole chiave siano:
parsing di un documento xml
creazioni di indici (esempio word)
sunto automatico (word)
Glossario automatico
creazione di dizionari personalizzati
 
Ciao, Carlo 
 
 

 Ho una serie di testi (alcune migliaia), devo trovare le parole più
 
ammazza, pure Luciano DOC che scrive un post con questo titolo...
 
 
o temporali o more !!!
 
 
Antonio 
 
 


Sì, ma lui è DOC ;) a lui tutto è permesso :D
 
Popi

 o temporali o more !!!
 
S�, ma lui � DOC ;) a lui tutto � permesso :D
 
Popi
 
 
hmmm...
ricordo che ai tempi di Bettini, lbo e quant'altro, nel vecchio icda, si 
stabil� che non solo non c'erano immunit�, ma i caporioni la dovevano 
scontare doppia !!!
 
 
Antonio 
 
 


Senz'altro, ma ci hai fatto *sentire la tua mancanza* per un po' troppo tempo, quindi tu per primo devi scontare l'interdizione temporanea alla distribuzione di rampogne!
^__________________________^
 
OLTRETUTTO VORRESTI INTERVENIRE DOPO UN MESE E MEZZO CHE HA POSTATO?????
 
^__________________________________________________^
 
Popi :)

 scontare doppia !!!
 
Senz'altro, ma ci hai fatto *sentire la tua mancanza* per un po' troppo 
tempo, quindi tu per primo devi scontare l'interdizione temporanea alla 
distribuzione di rampogne!
^__________________________^
 
OLTRETUTTO VORRESTI INTERVENIRE DOPO UN MESE E MEZZO CHE HA POSTATO?????
 
^__________________________________________________^
 
Popi :)
 
 
Ti sei risposto da solo
e secondo te, se avevo la facoltà o la mancanza di rogne di intervenire un 
po' più spesso, mi perdevo l'occasione in tempo reale di cazziare 
brutalmente magno gaudio Luciano DOC ?????
 
Antonio