Newsgroup: it.comp.os.linux.sys
Titolo: Indicizzare PDF

Ciao a tutti!
Dovrei sviluppare un programma che mi ricerchi un testo dato in una serie
di documenti (PDF).
Visto che non voglio uccidere il Server alla prima ricerca volevo fare la
ricerca su un DB (MySQL, se fosse possibile).
Per poterlo fare, pero', devo prima avere tutte le parole che compongono i
PDF nel DB.
Prima di mettermi li a scrivere un qualche script che mi converta i PDF in
ASCII e poi li scandisca e inserisca le varie parole in un DB, mi chiedevo
se esiste gia' qualcosa di pronto che mi consenta di fare il lavoro.
Qualcuno e' a conoscenza di qualcosa di simile?
Grazie
Luca Bertoncello
(
luca...@lucabert.de
)
-- 
questo articolo e` stato inviato via web dal servizio gratuito 
http://www.newsland.it/news
 segnala gli abusi ad 
ab...@newsland.it

 se esiste gia' qualcosa di pronto che mi consenta di fare il lavoro.
Un bel motore di ricerca web con convertitore pdf2ascii.
Fai una bella pagina html che contiene i link ai file pdf (ti basta
fare un ls | sed) e poi lo dai in pasto al motore. Non solo ti fa' la
scansione ma ti gestisce anche l'interfaccia di ricerca luser-
friendly.
Davide

Davide Bianchi ha scritto:


Bella idea, ma c'e' un problema...
In questo modo io NON ho i dati nel MIO Database... e la cosa e' per me
essenziale, visto che poi dovrei anche fare una versione "offline" del
programma che deve funzionare senza connessione ad Internet...
Altre idee?


 Qualcuno e' a conoscenza di qualcosa di simile?
Nel pacchetto di xpdf c'è pdftotext e per l'indicizzazione ti consigli 
htdig.  Anche se non è il top per un pochi documenti può andare.
Lo uso per indicizzare il mio sito per i soli usi interni.
Ciao
Giovanni
-- 
   A computer is like an air conditioner,
   it stops working when you open Windows.
   < 
http://giovanni.homelinux.net/
 >

 htdig.  Anche se non � il top per un pochi documenti pu� andare.
Quantifica il "pochi"... Da quel che ho capito, si parte con 4-500 files,
ma il numero e' destinato a salire e non e' stato messo nessun tetto...
Seconda cosa: io dovrei poi fare le ricerche dal mio programma (perche' se
credi che l'utonto si metta a lanciare htdig per conto suo, stai fresco).
Come faccio? Mi ci posso interfacciare da PHP? Se no, la cosa diventa
problematica...
Ciao


 
google desktop per linux? visto che dalle schermate risulta qualcosa che 
sembra un'interfaccia web e visto che i pdf li fa....
ok non hai un db, ok non fa SOLO il pdf....ok forse non � troppo una 
buona idea...e forse funziona...magari nell'attesa

 buona idea...e forse funziona...magari nell'attesa
Intanto grazie a tutti quelli che mi hanno risposto...
Temo di non essere stato chiaro nella mia domanda.
Allora, io ho X files PDF. Il contenuto di questi files deve essere
indicizzato e salvato su un DB MySQL. ***DEVE***!
In seguito, dal programma che devo scrivere io (e che non deve usare
nient'altro che non i drivers del DB!!) devo poter fare le ricerche e dire
quali dei files contengono le parole (o, piu' probabilmente, le frasi)
date dall'utente.
Questo deve poter essere possibile anche SENZA nessuna connessione di rete.
Ho chiarito la mia necessita'? C'e' un qualche modo di fare la cosa?
Grazie


 Ho chiarito la mia necessita'? C'e' un qualche modo di fare la cosa?
Come ti ho scritto e come ti avevano già detto.
La tua visione del problema però è molto corta....
Fare qualcosa che cerchi in mysql è banale.
Fare qualcosa che tiri fuori risultati quanto meno utili, molto meno.

 pero', devo prima avere tutte le parole che compongono i PDF nel DB.
Lucene mi pare indicizzi anche i PDF.
Poi, da PHP, puoi usare un componente di Zend Framework (Zend_Lucene) che 
si interfaccia al DB creato da lui.
Lucene e` in Java, ma forse trovi implementazioni in altri linguaggi.
Bye.

 
pdftotext + phpdig, lo spider ? in php e tramite pdftotext ti indicizza i 
documenti in un db mysql, poi ti interfacci direttamente con il db dal tuo
software.
 Giovanni
-- 
/*
 * SnB - 
http://www.snb.it
 */

 Fare qualcosa che tiri fuori risultati quanto meno utili, molto meno.
Infatti, non è affatto semplice. Che cosa sbatti nel db ? Tutto il testo 
dei pdf ?  Orgnizzi il tutto come una sorta di dizionario, dividendo 
parola per parola evitando i duoplicati ? Estrapoli solo delle parole 
chiave ?
Uno di quei classici "lavoretti" che sembrano tanto semplici ma che poi 
si rivelano uccelli per diabetici...
Ciao.
-- 
*** Linux user # 198661 ---_ ICQ 33500725 ***
    ***  Home  
http://www.kailed.net
  ***
        ***  Powered by openSUSE  ***

 date dall'utente.
Ok, quindi una ricerca fulltext. A parte che credo esistano già decine di 
prodotti prefabbricati in ambiente LAMP, se vuoi una soluzione casalinga 
pdf2text e lo schiaffi in MySQL/Sphinx (l'unica altra alternativa per il 
fulltext è MyISAM ma alle soglie del 2010 lo lascerei perdere senza neanche 
pensarci). Poi ti sviluppi tu una mini maschera di ricerca con link al file 
originale.
-- 
Vide


Questa sarebbe La Soluzione del problema, ovvero, se devi indicizzare
full text MySQL
non e` lo strumento adatto a meno di non voler far un lavoro del c...o
o di dimensioni
limitate e mal scalabile o non scalabile del tutto e proprio di Lucene
mi parlava un'amico
che sta` terminando una grossa implementazione per un motore di
ricerca verticale.
E ne parlava davvvero bene, dicendomi che appunto una cosa come MySQL
(o qualsiasi
 altro normale db) sarebbe stato assolutamente inadeguato, tanto che
loro lo usavano,
ma solo per delle metainformazioni, non certamente per il full text.
Andrea

 date dall'utente.
prova knowledgetree , io lo uso x indicizzare la documentazione tecnica , ha 
anche delle api se ti vuoi interfacciare da applicativi tuoi.
ciao.
-- 
"Ai voglia?  Telefona!"
		-- Pubblicita' televisiva di un telefono erotico

 Ciao.
Il risultato finale sarebbe una sottospecie di "Google Search Appliance" 
casereccia che per quanto buona ha comunque una serie di limiti (dal mio 
punto di vista, ma dipende dall'uso che se ne intende fare), per esempio 
  non ci dice chi ha creato il file (uplodato), se si tratta di un 
originale o di una copia (pensando ad un ambito aziendale in cui le 
segretarie utilizzano samba come immonnezzaio con centinaia di copie in 
stile "template dei poveri") ecc..
Tutto dipende comunque da ciò per cui si va a creare l'applicazione.. 
molti pensano che indicizzando vigliaccamente in FULLTEXT si risolvano 
tutti i problemi in realtà poi si scopre che l'archivio è stracolmo di 
inutile spazzatura che andrebbe eliminata al 95% (sempre pensando al 
buon vecchi Samba)

 Se no, la cosa diventa problematica...
Su questo non ti posso aiutare.  Io lo uso esclusivamente via web.
