Newsgroup: it.comp.www.php
Titolo: codifica utf e sanscrito

Ho del testo su pdf in sanscrito, dovrei metterlo su di una pagina web e 
pensavo di usare una codifica utf, esiste?
come mi consigliate di fare?
Leonardo

come mi consigliate di fare?
 
Accertati di essere su un sistema UTF8-compliant, poi usa un tool in grado
di estrarre il testo dal PDF e sbatterlo in un TXT senza BOM, UTF8, pulito
e lindo. A quel punto puoi leggere il file in PHP e caricarlo in HTML o su
un DB (nel caso di MySQL, ricordati 'set names UTF8' e tutte le macumbe).
 
A seconda di come è stato generato il PDF (perché PDF è uno standard, e lo
standard è una cosa buona: tutti dovrebbero averne uno - e ce l'hanno), la
cosa puo' essere facile come un giro con pdftotext, facile ma manuale come
un CTRL+C CTRL-V dentro a un editor UTF8 compliant, un bagno di sangue sul
genere Carnageddon [1], su su fino a "fottutamente impossibile".
 
Ah, e' quasi indispensabile che tu conosca il sanscrito, e lo "script" che
andrai a usare (Devanagari, Bengalese, etc.), perche' altrimenti rischi di
generare una roba che SEMBRA valida ma *NON LO E'*.
 
Per confronto, fa' conto che il saggio Vyasa avrebbe probabilmente pensato
che questo fosse sufficiente a soddisfare un dantista:
 
	Nel miezzo del camin de nuestra vida
	m'enritrovou int'a na silva scurreggia,
	que la directa via estatz smarrida
 
(E se qualcuno ha familiarita' con le istruzioni italiane scritte su certi
prodotti cinesi, pensera' che certo stasera io mi senta ottimista!)
 
Leonardo
 
[1] aprire il PDF e fare programmaticamente FlateDecode, oppure sperare di
    farcela con "pdftk accidentatté.pdf cat espanso.pdf uncompress": io lo
    raccomando, funziona benissimo quasi il 30 per cento delle volte.
 
-- 
Tell us whether you spy, in the light of the morn,
what saluted was fiercely at the fall of the past day:
whose pips and whose bands in the very heart of the fray
bravely floated from the bulwarks to which we were sworn?

 	Nel miezzo del camin de nuestra vida
 
Nomination per il post dell'anno.


A volte per estrarre il testo da un pdf è più semplice usare uno 
scanner+ocr.
 


Che non e' per niente una brutta idea (confesso che per un momento m'era
partito un "EEEEH?!?").
 
Con Ghostscript si può generare un TIFF o PNG pulitissimo, che fa felice
qualunque OCR, e con questo sistema uno puo' ricondurre una quantita' di
PDF di tipi diversi a uno stesso "standard".
 
Tutto questo al prezzo di ritrovarsi un problemone piu' grosso a valle -
serve un OCR con supporto per il sanscrito:
 
 
http://www.indsenz.com/int/index.php?content=pricing
 
 
La cosa buona e' che funziona bene e si puo' comunque provarlo prima.
 
Leonardo



Il pdf è fatto per "visualizzare" il suo contenuto in modo più o meno 
indipendente rispetto al device di output.
Quando si tratta di smontare il pdf escono fuori strati su strati di 
"oggetti" che servono a comporre il pdf.
Il testo non è espresso come "stringa", ma come un layer che può essere 
letto in modi diversi, a seconda della strada che si sceglie per 
arrivare al testo.
In teoria, a livello di plug-in, si potrebbe accedere al testo e 
ricercare quello che in codifica Unicode-16 (UTF-16BE) è il "sanscrito" 
(dopo il BOM ci sono 2 caratteri che indicano l'ISO-639 della lingua, 
più due caratteri opzionali sempre ISO-639 per la lingua). Quindi lo si 
copia (sempre in UTF-16BE). Sempre se chia ha fatto il pdf abbia fatto 
le cose a modo.
Se conosci il C, e hai tempo, puoi scaricare l'SDK di Adobe e provare. 
Se non ricordo male per sviluppare i plug-in ci vuole anche un codice 
univoco rilasciato da Adobe (una volta bastava fare richiesta, ora è un 
vero e proprio rebus da risolvere e firmare con il sangue), ma te lo 
puoi sempre inventare.
 

arrivare al testo.
 
Sì, ho una certa qual esperienza nel settore :-). Non serve neanche il
plug-in, una volta decompresso il PDF (e li' basta pdftk) l'accesso e'
possibile direttamente agli oggetti testo... ma il problema diventa l'
allineamento: a seconda del programma usato, una parola potrebbe anche
essere divisa in "N" pezzi uso "kerning de noantri". Sia che tu vada a
botte di SDK sia che tu decodifichi lo stream.
 
Sicche' ti tocca ricostruirti una pagina virtuale ed esaminarla usando
un algoritmo di prossimita': va benone anche Tiling ma ti fai comunque
un mazzo tanto.
 
Francamente, cacciare 129 EUR per un aggeggio che lo facesse di suo mi
sembrerebbe un affare d'oro. Gia' se ci metti due ore per rifartelo di
fatto sei in perdita. L'aggeggio esterno consente anche una utilissima
scappatoia ("Alcuni PDF non vanno? Purtroppo questo e' un tool che non
si puo' modificare: costa 129 EUR perché lo vendono a tutto il pianeta
- sviluppare una cosa così, migliore, solo per Lei, significherebbe un
investimento di decine di migliaia di euro. Se vuole possiamo fare una
joint venture! Ci mettiamo cinquantamila euro a testa e poi i profitti
della vendita del prodotto ad altri li divideremo a meta'... ehi, dove
scappa?"). Da non credere, quanti problemi svaniscano quando capiscono
che l'alternativa e' cacciare montagne di pecunia.
 
Certo vanno valutati fattori tipo "E' automatizzabile?" "Quanto lavoro
ci devo fare?" "Mi servira' di nuovo?".
 
Una soluzione possibile infatti potrebbe magari anche essere quella di
un embedding diretto, sporco e brutale del PDF dentro la pagina Web...
mi vengono in mente intere classi di "potenziali clienti" che non solo
non noterebbero la differenza ma addirittura preferirebbero cosi'.


 non noterebbero la differenza ma addirittura preferirebbero cosi'.
 
Io ho un virtualhost con DirectoryIndex index.pdf.
Se piace a lui...
 
-- 
ValeRyo