Newsgroup: it.comp.software.newsreader
Titolo: [Dialog] Uso del charset corretto nella spedizione degli articoli in ng moderati

Salve ragazzi.
Credevo di aver capito quasi tutto di Dialog, non pensavo che mi sarei mai
incartato in un problema apparentemente banale. Mi è capitato di fare
"cut&paste" da brani di un articolo pubblicato in una pagina WEB. In questo
caso la codifica del carattere risulta essere utf-8; facendo "cut&paste"
direttamente nel corpo dell'articolo da mandare, non ho capito come
modificare "al volo" il tipo di codifica usato. In pratica, vorrei usare il
solito ISO-8859_15 (il charset usato di default in Dialog per gli articoli
in italiano). Invece il corpo dell'articolo che invio a quanto pare risulta
essere letto dal robomod come "utf-8", infatti mi viene respinto, con il
mex standard
<cit>
Il tuo articolo e` stato esaminato dal programma di moderazione automatica
ed e` stato rifiutato:
L'articolo contiene caratteri che non fanno parte di uno dei set di
caratteri ISO-8859-*.
Per favore riscrivi il tuo articolo senza usare caratteri non standard:
i caratteri di tutte le lingue europee sono rappresentabili con una di
queste codifiche.
[CODICE: cleanbody: Invalid characters in body]
</cit>
con il corpo che risulta in questa maniera
<cit>
Premessa: sembra che il robo-moderatore abbia dei problemi con i caratteri
usati in questo post (Content-Type: text/plain; charset="utf-8"); ho
cercato di modificare il documento usando il comune ASCII, non so se mi Ã¨
riuscita l'operazione
[cit]
Lo studioso, prolifico scrittore e conferenziere, negli scritti e nella
lunga carriera accademica ha sempre appoggiato lâ€™ateismo; in un video
dello [...]
</cit>
Eppure al momento dell'invio Dialog me lo legge correttamente.
Non capisco davvero il motivo di questo errore.
Avete qualche idea?
Grazie
-- 
< Nathan > ~ email: 
nata...@despammed.com
 ~
«All I ever wanted - All I ever needed
Is here in my arms - Words are very unnecessary
They can only do harm» (Enjoy the silence, Depeche Mode)

 riuscita l'operazione
Questa cosa che hai scritto non l'ho capita, come hai fatto a modificare
il documento usando ascii?? Hai forse fatto in un qualche modo di
cambiare la riga scritta negli header ma senza modificare sostanzialmete
i caratteri digitati-incollati? sarebbe stato un grave errore

 i caratteri digitati-incollati? sarebbe stato un grave errore
Ah, mi sono inventato un metodo assai fantasioso ma poco efficace: ho fatto
"cut&paste" del corpo del messaggio salvandolo in formato *.txt in un
documento aperto con NotePad, una specie di block notes un po' più
elaborato. Una volta aperto il documento *.txt, pensavo di aver modificato
il charset adottato in base a quello salvato in maniera standard quando si
chiude il documento.
Ma il charset è rimasto sempre quello, me tapino :-((
Ciao e grazie.


 con NotePad, una specie di block notes un po' più elaborato. 
Sì, anche io qualche volta ho provato ad usare l'editor di un altro
programma (il mailreader Eudora) che a volte mi sistema automaticamente
le cose a volte no. Se ne era discusso tempo fa, ma non mi sembra ci
fosse una soluzione automaticamentemagica

fosse una soluzione automaticamentemagica
Un'alternativa sarebbe disabilitare l'UTF8 dai charset permessi, ma questo
lo impederebbe su tutti gli invii, anche quando è davvero utile.
P.s. Per curiosità, qual è il Ng che rifiuta gli UTF8?
-- 
enrico /dot/ c /at\ people \dot\ it


Reply-To: 
nata...@despammed.com
MIME-Version: 1.0
Content-Type: text/plain; charset="utf-8"
Content-Transfer-Encoding: 8bit
X-Orig-X-Trace: 
individual.net
K+uHwJTSZCBC7Q6qug+6KwBnFP/e8YT/U8rHMV4aSMnc+wI8+f
User-Agent: 40tude_Dialog/2.0.14.1it
X-Face:
".&JU([]r:6Ty!n[dO{[P5F6W3Lx!'UM-*zIVl`"/l-K'|I?:aiUv>WJElJQtQ+`unIG?OE
F3K}EGk3xE2@jYLC-L2ft(<0kPEP<_,+KIq6)e~Vi@O`aeY$*RpkH/Y>|WXw70F%}=k6T=m;soqN."
"J
Approved: 
robom...@computerville.it
 (1.21)
Sender: 
robom...@computerville.it
X-Mail-Path: 
scotty.uli.it
!
mail.fu-berlin.de
!
mod-s...@uni-berlin.de
X-Moderatore: 1103207283.25890
giovedÃ¬ 16/12/2004 14:21, FratelBigio ha scritto:
Premessa: sembra che il robo-moderatore abbia dei problemi con i caratteri
usati in questo post (Content-Type: text/plain; charset="utf-8"); ho
cercato di modificare il documento usando il comune ASCII, non so se mi Ã¨
riuscita l'operazione
[cit]
Lo studioso, prolifico scrittore e conferenziere, negli scritti e nella
lunga carriera accademica ha sempre appoggiato lâ€™ateismo; in un video
dello [...]
</cit>
Ciao.


 Subject: Re: Filosofo ateo riconosce l&#8217;esistenza di Dio
Qui ci sarebbe un'altra strana incongruenza..
Anche quel testo era stato copiancollato da una pagine web?
quel tipo di codifica composta dal &# su usa nel web non nei messaggi

 quel tipo di codifica composta dal &# su usa nel web non nei messaggi
Si, ma il testo citato non era il mio. Semmai il mio post era in risposta
al suo (l'autore del thread).


 Si, ma il testo citato non era il mio. 
Ed infatti lui (l'originale) aveva scritto usando:
| User-Agent: 
www.newsland.it
Saltano sempre piccoli o grandi problemini quando si usano le interfaccie

 manifesto.
| CRITERI di MODERAZIONE
| 
| Il server provvederà preventivamente alla cosiddetta robomoderazione
| bloccando:
| 
| - gli articoli lunghi oltre 20 kBytes
| - quelli con allegati
| - quelli in formato HTML
| - quelli con R: anziché Re: nel Subject
| - quelli con troppi "segni" anziché lettere nel Subject
| - quelli in cross-post
| - quelli con "quoting" (riporto di altri articoli) maggiore del nuovo testo
Perdono, ma non vedo riferimento al charset.
Crosspost su: it.comp.software.newsreader,
              it.news.moderazione
-- 
daRkSidE, 17/12/2004 19.59.55
[16/17 - Blood Sugar Sex Magik] Red Hot Chili Peppers: Sir Psycho Sexy

 Non capisco davvero il motivo di questo errore.
IMO una limitazione del robomoderatore, che andrebbe discussa nei
gruppi appositi, considerando anche la posizione favorevole di più
esponenti del GCN all'uso di UTF-8.
Crosspost su: it.comp.software.newsreader,
              it.news.moderazione
-- 
daRkSidE, 17/12/2004 19.07.16
[02/11 - Remasters (Disc 2)] Led Zeppelin: The Rain Song

esponenti del GCN all'uso di UTF-8.
In questi casi, la posizione di esponenti non so se c'entri molto. Ad ogni
modo, la pagina wiki del Gcn sui charset dice
QUOTE 
http://wiki.news.nic.it/CharSet
Un discorso a parte merita l'UTF-8, che è una codifica di Unicode
compatibile con ASCII e usata su Usenet. Rispetto ai charset descritti
precedentemente, ha il vantaggio di rendere disponibile l'intero set di
caratteri Unicode, superando il limite dei 256 caratteri per volta;
purtroppo però molti newsreader non lo interpretano ancora correttamente, e
quindi si raccomanda di limitarne l'uso ai casi in cui non se ne può fare a
meno. 
UNQUOTE
Oltre a Dialog, ci sono altri reader pienamente compatibili Unicode?
Forse OE e pochissimi altri, ma di questo non sono neanche sicuro.


 Oltre a Dialog, ci sono altri reader pienamente compatibili Unicode?
Mozilla e Pan funzionano perfettamente.
-- 
"Io non voglio vivere in un mondo dove metà della gente scrive _un po_
senza apostrofo e l'altra metà scrive _un pò_ con l'accento".
Paola Mastrocola, _La scuola raccontata al mio cane_.

Forse OE e pochissimi altri, ma di questo non sono neanche sicuro.
OE sě.
Pimmy anche.
-- 
-antonio-
www.geminisoft.com
(email valida sul mio sito)

 sinceramente un anacronismo.
Ne approfitto per chiedere una cosa... qualcuno di voi potrebbe
segnalarmi il link alla RFC, o draft o quello che č, che stabilisce che
l'UTF-8 č uno standard accettato *per Usenet*? Ho seguito decine di
thread su questo argomento (ricordo interventi molto chiari di Carlo
Fusco, per esempio) ed ho cercato su gogle, ma non riesco a rintracciare
questa informazione basilare. Grazie ^_^;
-- 
Cammagno

 Perdono, ma non vedo riferimento al charset.
Probabilmente non sarà neanche scritto nel "manifesto", comunque nella
motivazione di rifiuto che ha riportato Nathan, sembrerebbe che il
problema fosse proprio quello:
| Ecco il testo completo del messaggio standard per un mex rifiutato:
| ...
| L'articolo contiene caratteri che non fanno parte di uno dei set di
| caratteri ISO-8859-*.
| ...
| [CODICE: cleanbody: Invalid characters in body]
A parte che questa frase potrebbe essere interpretata anche in maniera
ambigua, nel senso che ad es. alcuni programmi come Agent e MimeProxy
hanno un limitato supporto dell utf8 limitandosi a poter rappresentare
soltano i caratteri presenti in uno solo (e non più di uno) dei charset
nazionali ISO, ed in tal senso si potrebbe interpretare anche la risposta
di errore del robomoderatore.
Xpost: news:it.comp.software.newsreader,
       news:it.news.moderazione

 l'UTF-8 è uno standard accettato *per Usenet*? Ho seguito decine di
Che sia uno standard accettato su Usenet è cosa ormai scontata, comunque
l'uso dell' UTF8 viene nominato da Useage (*) nel paragrafo 7.3.
(*) 
http://www.imc.org/ietf-usefor/drafts/draft-ietf-usefor-useage-00.txt
Aggiungo alcune mie considerazioni più generali sulle questione. Chiedo
scusa per il megapippone che segue, ma ci terrei a chiarire il *mio* punto
di vista (ovvero quello senza il cappellino del GCN).
Prima di tutto, due parole di aggiornamento sulla Usefor. La codifica di
una RFC "standard track" per quanto riguarda il formato degli articoli su
Usenet è una storia abbastanza lunga e controversa che dopo aver avuto un
momento particolarmente critico proprio sull'internazionalizzazione
(attenzione, si parlava degli header, non del corpo), ha subito
recentemente una svolta drastica e per il meglio. Dopo esser cambiato per
la seconda volta il chair, è arrivato qualcuno che finalmente mostra la
necessaria leadership per far avanzare le cose. Per ora
l'internazionalizzazione degli header è stata accantonata in quanto troppo
controversa, il manifesto del gruppo di lavoro è stato opportunamente
aggiornato (*), e l'ultimo draft usefor disponibile (**) è stato spaccato
in 3 documenti, di cui due (usefor e usepro) rimangono in standard track e
l'altro (useage) vuole invece diventare un "Best Current Practice" (BCP).
(*) 
http://www.ietf.org/html.charters/usefor-charter.html
(**)
http://www.imc.org/ietf-usefor/drafts/draft-ietf-usefor-article-13.txt
Usefor diventa il documento che descrive lo standard strettamente
concernente il formato dell'Usenet message (ovvero l'articolo con tutti i
suoi header). Usepro descrive invece gli aspetti correlati ai protocolli e
all'architettura alla base di Usenet. Entrambi si complementano e
ambiscono allo standard track, intendendo definire quindi solo gli aspetti
essenziali e più importanti della struttura dei messaggi Usenet, quelli
che per intenderci interessano soprattutto chi vuole sviluppare software
che funzioni bene e non causi grossi problemi di interoperabilità.
Useage invece come BCP intende descrivere gli aspetti concernenti un
diverso livello di interoperabilità, certamente altrettanto importante, ma
meno cruciale per il funzionamento del sistema, ovvero come il software e
gli utenti devono interagire per raggiungere una situazione operativa
ottimale (il problema dell'UTF8 rientra indubiamente in questa categoria).
Veniamo alla questione sollevata nel thread. L'uso degli 8 bit dal punto
di vista dell'interoperabilità è ormai da moltissimi anni totalmente
sicuro e escludendo i soliti 3 caratteri, CR, LF e NULL che ancora hanno
bisogno di esser codificati, tutto il resto può essere agevolmente
trasportato tal quale. Allo stesso tempo nel corso degli anni anche il
MIME, la suite di standard per la definizione del trasporto e codifica nel
corpo del testo, ha raggiunto uno stato di maturazione più che adeguato.
Il framework 8 bit è quindi stato assorbito ed è diventato assolutamente
solido ed adeguatamente supportato. 
Veniamo però al diavolo, ovvero ai dettagli della questione 8 bit nel
corpo del testo. Useage ci dice una cosa sensata, ovvero che anche se
l'infrastruttura per gli 8 bit c'è ed è ben supportata, non ci si può
ragionevolmente aspettare dagli utenti di possedere un newsreader che
rappresenti correttamente qualsiasi carattere esistente; quindi è
opportuno stabilire una policy specifica per gerarchia e/o per newsgroup
che indichi quali siano i charset da usare e/o quali parti dell'unicode
(in particolare nella sua implementazione più adeguata e diffusa, ovvero
l'UTF8) andrebbero supportate.
In it.* i caratteri minimi da usare sono sicuramente quelli
dell'ISO-8859-15, ma ci sono anche altri, le eccezioni, ovvero caratteri
estranei a quel charset che vengono adoperati in alcuni ng specifici (vedi
ad es. it.cultura.classica). Siccome UTF8 è la soluzione migliore per
questi casi, che se sono particolari non sono però così infrequenti,
sarebbe altamente auspicabile cercare di usare comunque un newsreader che
supporti l'UTF8 e che quindi gestisca bene sia la norma che le eccezioni
di cui parlavo prima, e in caso contrario chiedere agli autori del proprio
software che venga aggiunto tale supporto, piuttosto che lamentarsi con
chi usa l'UTF8 e chiedre loro il cambio a ISO-8859-1. Dirò di più, a mio
parere i moderatori, a meno di avere delle ragioni precise per escludere i
caratteri estranei all'ISO-8859-15, dovrebbero rimuovere dal
robomoderatore quel controllo di cui si parla nel thread.
Questa mia opinione tiene conto sia dei benefici dell'uso dell'UTF8 sia
del fatto che i newsreader si stanno rapidamente adeguando e i migliori e
più moderni sono ormai tutti equipaggiati. Resta però solo una opinione
che non sono neanche sicuro sia condivisa da tutti gli altri del GCN
(anche se credo che Massimo la pensi come me).
-- 
Carlo Fusco
-- 
questo articolo e` stato inviato via web dal servizio gratuito 
http://www.newsland.it/news
 segnala gli abusi ad 
ab...@newsland.it


di Alan Ford del 28 Oct 2004 20:55:53 +0200

 che rappresenti correttamente qualsiasi carattere esistente;
-- 


(anche se credo che Massimo la pensi come me).
Dunque, chiariteci le idee: qual è l'attuale indicazione del GCN come
charset consigliato per la gerarchia it.* ?
:)


 livello delle gerarchie nazionali, allora?
ripeto, questa è solo la mia opinione, che adesso cerco di spiegare meglio.
L'utf-8 è semplicemente un modo per il calcolatore di rappresentare in
manieria furba ed utile *tutti* e 1.114.112 code points dell'unicode.
Questa totalità dello spazio Unicode è divisa in 17 piani, ovvero
intervalli contigui di 65,536 codepoint. Anche solo il supporto del plane
0 ovvero il piano multilingue di base che contiene quasi tutti i caratteri
delle lingue effettivamente utilizzate nel mondo è fuori questione, quindi
è ovvio che il supporto dell'utf-8 sia sempre e comunque parziale, anzi
estremamente parziale. Data questa premessa, la mia posizione è quella che
supportare il framework mime ed i codici utf-8 che rappresentino i
caratteri del Latin-1 è oggi assolutamente ragionevole per un newsreader
ed anzi, diventa un "must". Ora se io ho necessità di utilizzare i
caratteri dell'alfabeto greco su it.cultura.classica e non ho un
newsreader intelligente che mi aggiusta al volo il charset, potrei voler
uscire sempre con l'utf-8, anche quando scrivo su questo ng e non su
it.cultura.classica. Io di questo parlo, ovvero se stia a me l'onere di
scegliermi un newsreader più furbo o a chi mi legge di avere un newsreader
che implementi una tecnologia divenuta basilare, molto importante ed
adeguatamente matura. Secondo me *oggi* è più ragionevole chiedere che si
utilizzi un newsreader capace di rappresentare bene i caratteri da me
utilizati in questo ng (ovvero il Latin-1) e rappresentati con l'utf-8 che
chiedermi di cambiare codifica. Ovviamente sarà affare degli utenti di
it.cultura.classica avere un supporto dell'utf-8 esteso ad includere anche
l'alfabeto greco, ma questo non è un problema per tutti gli altri.
In altre parole al latin-1 ormai è ragionevole che ci arrivi una massa
critica di utenti.
[...]
credo di aver risposto anche alle domande successive che qui snippo.
ciao,



di cataldo VALLONE del 18 Dec 2004 20:41:48 GMT
a proposito della risposta di errore fornita dal robomoderatore al
messaggio inviato da Nathan. Anche in quel caso, in quel thread almeno su
questo gruppo, non se ne era capita molto bene la motivazione. 
Non sarebbe male fare un piccolo sforzo per spiegare un po' meglio la
questione, almeno come consiglio se non puň-deve considerarsi un obbligo 

l'alfabeto greco, ma questo non è un problema per tutti gli altri.
<snip>
Ok ora è più chiaro :)
A questo punto, per chiarire ulteriormente, come si esemplifica in pratica
questa posizione?
Voglio dire, l'utente X che non abbia un particolare interesse per i
caratteri greci in un Ng italiano o altri interessi "esotici" :) , come
dovrebbe impostare il suo charset di invio di default? Utf-8 ?
E se invece ha quell'interesse? iso-8859-1 ?


 enrico /dot/ c /at\ people \dot\ it
Scusate se interrompo le vostre profonde ed erudite disquisizioni
accademiche ma...
1) il robomod mi respinge un mex _solo_ perché è formattato in UTF-8;
2) ancora nessuno che mi sa suggerire un metodo _semplice_ e _rapido_ per
postare una citazione formattata in UTF-8 su un gruppo robo-moderato.
Che non sia il "copia & incolla", ehh... ;-)
Ciao.


 Che non sia il "copia & incolla", ehh... ;-)
L'unico modo semplice e rapido sarebbe quello di avere il moderatore che
tolga quel controllo dal robot. Prova a chiederglielo.


 Forse OE e pochissimi altri, ma di questo non sono neanche sicuro.
Presente! :-D
-- 
Abbiamo apertuto il collegamento. (Giampiero Galeazzi)
 
 |\ |       |HomePage   : 
http://nem01.altervista.org
 | \|emesis |XPN (my nr): 
http://xpn.altervista.org

 1) il robomod mi respinge un mex _solo_ perché è formattato in UTF-8;
Però più di cento parole potrebbe essere utile un esempio.
Se non ti va sul gruppo moderato, potresti inviare quello stesso articolo
su it.test dove potremmo leggerlo tutti noi.
L'esempio da te (ma tu chi sei? Nathan?) riportato l'altro giorno è un
po' difficile da analizzare per via della doppia codifica sulla codifica,
e si rischia di far più confusione di quanta già non ce ne sia. 
E comunque quell'articolo contiene caratteri non presenti nel ISO latino1
[E2][80][99] U+2019 "RIGHT SINGLE QUOTATION MARK" del blocco
GreekExtended, e potrebbe essere questo, e non altro, il motivo del
rifiuto del robomoderatore

 L'esempio da te (ma tu chi sei? Nathan?) 
Yep...
-- 
Giovanni Aragonesi aka Natanaele
e-mail < 
anac...@email.it
 >
«Omnis determinatio est negatio.»

 E se invece ha quell'interesse? iso-8859-1 ?
La mia posizione č l'apoteosi dell'ovvio, ovvero se non ci sono esigenze
diverse dal Latin-1, ISO-8859-15 dovrebbe essere indubbiamente la scelta
di default, altrimenti avendo bisogno anche di caratteri fuori da quella
codifica sarebbe meglio usare un newsreader capace di gestire
automaticamente il charset tra UTF-8 e ISO-8869-15 e lasciare come ultima
scelta quella di uscire sempre con UTF-8. In piů, tutti a rompere le
scatole agli sviluppatori del nostro newsreader preferito per chiedere un
supporto sempre migliore per l'UTF-8.
-- 
Carlo


 critica di utenti.
Ecco. Ma per "incoraggiare" questa massa critica quand'è che saranno
rifiutati dai server, per qualunque gruppo, quella marea di post (cioè
praticamente tutti, tranne qualli postati qui) che escono da OE con
caratteri estesi ma senza adeguati header?
Perché è perfettamente inutile stare qui a farsi un sacco di pipponi fra di
noi, quando "là fuori" il mondo funziona in un altro modo.
[non so dove mettere X-Post e F-up, fai tu]
-- 
Fact of life #15: Heads bleed, walls don't.

noi, quando "là fuori" il mondo funziona in un altro modo.
Aggiungerei che c'è tutto il mondo dell'Usenet anglosassone che vivrebbe
tranquillamente anche con il solo Ascii :)


 Che non sia il "copia & incolla", ehh... ;-)
Avevo già scritto:
| Il metodo certosino per evitarli, è quello
| di andarsi a cercare virgolette inglesi e apostrofi e sostituirli con "
| e '.
Prima di incollare nel newsreader, copia/incolla in un text-editor che
supporti unicode e sostituisci “ con ", ” con " e ’ con '.
-- 
daRkSidE, 19/12/2004 22.04.02
[10/12 - OK Computer] Radiohead: No Surprises

tutti fissati con il sostituire le virgolette a mano.
L'ideale sarebbe avere nel newsreader un comando Incolla speciale che
sostituisca i "caratteri anomali" più frequenti nelle pagine web quando si
fa il cut&paste :)
-- 


 copia/incollare un testo in UTF-8 e ricodificarlo in ISO-8859-1. 
Non è un problema di cambire la codifica. Anzi il utf8 spesso non c'entra
nulla col copiaincolla perché quando le hai copiate dal web o da Word
ancora non erano in utf (ce le mette dialog al momento dell'invio) ma
molto più frequentemente erano in CP-win-1252. Il discorso è che devi
proprio cambiare il carattere, non di cambiare la codifica dello stesso
carattere
E se non glielo dici tu al programma, quale è il carattere nuovo che tu
vuoi sostituire a quello vecchio, come fa lui a saperlo? Ad occhio tu sai
che le virgoletti inglesi sono somiglianti alle virgolette classiche, per
cui fai la sostituzione, ma al programma queste cose devi andare a
dirgliele in qualche modo. Devresti fare una operazione di  Modifica\
Trova\ Sostituisci indicando sia il carattere vecchio ed anche quello
nuovo. L'editor di Dialog mi sembra non consenta il trovaesostuisci come
potrebbe fare Word o l'editor di altro programma. Forse si potrebbe
istruire il correttore ortografico ma non so se potrebbe fare una cosa
del genere. forse uno script?
N.B. diverso è il discorso quando è la stessa parola (o lo stesso
carattere) che deve essere trasformato da un tipo di codifica ad un altro
(es. da quotedprintable verso base64) il programma può fare tutto
automaticamente, ma la cosa è diversa perché in quel caso si tratterebbe
dello stesso carattere, non si deve inventare nulla, mentre in quello che
interessa a te si tratta di sostituire un carattere con un altro diverso.

>>(*) 
http://www.imc.org/ietf-usefor/drafts/draft-ietf-usefor-useage-00.txt
| 7.3.  Format of Bodies
|   Hierarchy administrators MAY declare, as a matter of policy, which
|   languages and charsets are to be considered appropriate within their
|   hierarchies (or within particular groups
Sarebbe sensato, a questo punto, chiedere agli sviluppatori di newsreader -
oltre ovviamente al supporto Utf-8 - la possibilità per l'utente di
impostare i charset in spedizione in modo diverso a livello di
gerarchia/newsgroup (?)


tutti fissati con il sostituire le virgolette a mano.
A me pare  in sostanza che hai 4 possibilità:
1) Convincere il moderatore ad accettare anche gli Utf8 (soluzione che però
non dipende da te);
2) Evitare copiaincolla da web quando posti su quel gruppo (soluzione che
non risolve, visto che tu invece vorresti farlo!);
3) Sostituire i caratteri anomali prima di ogni invio (soluzione certosina
e scomoda!)
4) Impedire al reader di usare l'Utf8 (soluzione drastica che castra il
reader della possibilità di postare in Utf-8)
-- 


 4) Impedire al reader di usare l'Utf8
5) Incollare il testo web in un nuovo messaggio di OE6 (settato su 
Latin1) e salvarlo nelle bozze; ricopiarlo da lì.
Ciao.
-- 
  __   __  __  |      |_/ .'_`. .-.   | |         WWW   \o/   \V/
 / /\_/  '´ /\ |    __(") .(")./(")\ (" )_.-      (')   (')   (')
/____/_/¯|_/ / |  /( _ )   | L  /_\   (|||)     %-J | $-J | &-J |
\____\_\/\_\/  |   // \\   | |  |_O)  // \\       | |   | |   | | lm

 P.S.: Obviously jokin' ;o)
Peccato, perchč io concordavo :D

 diventando strabico. Non mi sembra un metodo né veloce, né rapido.
ma un trova/sostituisci pareva brutto? ^_^;

Latin1) e salvarlo nelle bozze; ricopiarlo da lì.
Ne sai sempre una più del diavolo :-)



Ma il problema di Nathan č l'opposto, lui usa l'Utf8 ma il moderatore non
glielo accetta :)


 Latin1) e salvarlo nelle bozze; ricopiarlo da lě.
ah ah ah
Dopo aver fatto il diavolo in quattro, conviene tornare ad usare OE6!


non risolve, visto che tu invece vorresti farlo!);
Rileggendo quanto aveva scritto Nathan però mi rendo conto che non si
tratta neanche solo di questo, perché il problema si era verificato
rispondendo a un post con materiale da web, mi pare.
| Subject:	Re: [Dialog] Uso del charset corretto nella spedizione degli
articoli in ng moderati
| From:		Nathan
| venerdì 17/12/2004 00:00, *cataldo VALLONE* ha scritto:
|> Qui ci sarebbe un'altra strana incongruenza..
|> Anche quel testo era stato copiancollato da una pagine web?
|> quel tipo di codifica composta dal &# su usa nel web non nei messaggi
| Si, ma il testo citato non era il mio. Semmai il mio post era in risposta
| al suo (l'autore del thread).


 ma un trova/sostituisci pareva brutto? ^_^;
C'é un programma freeware che utilizzo sempre (anche se non in lingua
italiana) che si chiama "Editpad Lite" 
www.EditPadLite.com
 che sostituisce
in maniera egregia il block notes di Windows e che ha funzioni di editing
del testo abbastanza evolute, tra cui anche il "trova e sostituisci". Tra
queste c'é una funzione di conversione del testo in UNICODE, ma francamente
non ho capito mai a cosa servisse anche perché il testo in UTF-8 non lo
converte certo in ASCII... (scusate, dovete venire incontro alle mie
modeste capacità intellettuali).


 glielo accetta :)
Sisi, lo so :) Stavo celiando :)
Cmq a parer miol'unica soluzione valida per il suo problema è convincere
il moderatore a togliere la restrizione.

 e comunque anche volendo definirla non potremmo certo imporla.
il che però vale (ng moderati e filtri antispam a parte) anche per tutte
le altre "regole" del GCN ^^

su W9X funziona, ma non ho sottomano altre macchine per testarlo...
Sia W2k che Xp


Dopo aver fatto il diavolo in quattro, conviene tornare ad usare OE6!
Funzia anche con il 5.5 
;-PPP


Latin1) e salvarlo nelle bozze; ricopiarlo da lě.
Da me Latin9, ma funziona comunque.


indicare i charset adatti alla stessa. 
" (or within particular groups"



| La mia posizione è l'apoteosi dell'ovvio, ovvero se non ci sono esigenze
| diverse dal Latin-1, ISO-8859-15 dovrebbe essere indubbiamente la scelta
| di default, altrimenti avendo bisogno anche di caratteri fuori da quella
| codifica sarebbe meglio usare un newsreader capace di gestire
| automaticamente il charset tra UTF-8 e ISO-8869-15 e lasciare come ultima
| scelta quella di uscire sempre con UTF-8. In più, tutti a rompere le
| scatole agli sviluppatori del nostro newsreader preferito per chiedere un
| supporto sempre migliore per l'UTF-8.
-- 


 convincere il moderatore a togliere la restrizione.
Ma ce la abbiamo la prova /provata/ che quel moderatore toglie *tutti* i
messaggi scritti in utf8? e che invece non tolga soltanto quelli con
caratteri più strani del latino1? (che poi sarebbe l'apoteosi dell'ovvio
espressa da CarloF.)? Finora questa prova non la abbiamo avuta, almeno
nelle nostre dicussioni qui. Ho provato a dare un'occhiata rapida su
news.moderaz ma mi è sembrato di essere capitato in un posto molto strano
Se Nathan (o come diavolo si fa chiamare adesso) ci legge, perché non fa
una prova a spedire in utf8 un messaggio che contiene solo le vocali
accentate italiane, e poi ci fa vedere il messaggio di errore?

 Beh, è un MAY
Si, certo :) Però c'è anche uno should, quando parla dell'unicode. Ma
cmq non intendevo dire che il GCNfosse tenuto a farlo, ci mancherebbe,
solo sottolineavo che non sarebbe certo un'idea peregrina, visto che
viene prevista esplicitamnente (e da quel che capisco anche
incoraggiata).

 Sia W2k che Xp
Ho fatto una prova ora sul mio W98 ed ha funzionato!
Ho preso un articolo di lamentela su it.news.moderaz che (ovviamente) era
stato dichiarato male negli header:
| Rita Pennarola - "La Voce della Campania"
| ... l'Unesco, la Nato e perfino l'Onu. 
che in origine era pieno zeppo di virglettefrancesi e apostrofiinclinati
e come vedete è stato /tradotto/ cambiando i caratteri incriminati
Ho riprovato a fare la stessa cosa con Eudora, che tempo fa aveva
funzionato, ma non è riuscito, non ho capito dove sia la differenza

| Si, ma il testo citato non era il mio. 
È vero, ma comunque quella strana e brutta a vedersi sequenza di &#, è
un'altra cosa ancora, non credo che abbia causato problemi di
robomoderazione, avendo trascritto caratteri pienamente ascii si tratta
solo di una bruttura a vedersi, ma è un problema diverso da quello del
blocco automatico del robomoderatore

accentate italiane, e poi ci fa vedere il messaggio di errore?
Ma in quel caso il suo Dialog non imposterebbe l'Utf8, penso.


news.moderaz ma mi č sembrato di essere capitato in un posto molto strano
Too much killfile is almost enough.
Ciao, Alessio.
-- 
Guide e manuali su Agent: 
http://www.sleepers.it
FAQ di ICS.newsreader: 
http://faq.news.nic.it/wiki/IcsnFaq
Materiale in italiano per Agent: 
http://web.tiscali.it/agentit

 Ma in quel caso il suo Dialog non imposterebbe l'Utf8, penso.
Per l'appunto dicevo di fare una prova [àèìòù], andando a cambiare le
impostazioni generali del programma, come se volesse uscire sempre in
utf8, anche quando non strettamente necessario, mettendolo in cima
anziché in fondo nella lista dei consentiti per l'invio. 
Altrimenti non si riesce a capire dove effettivamente sta il problema

 le altre "regole" del GCN ^^
le regole che riguardano il namespace possono essere imposte visto che
sono i control firmati dal GCN quelli a cui si da usalmente credito.
-- 
Carlo
-- 
questo articolo e` stato inviato via web dal servizio gratuito 
http://www.newsland.it/news
 segnala gli abusi ad 
ab...@newsland.it

incoraggiata).
Chiaro :)


Too much killfile is almost enough.
news.moderaz č ottimo per pescare tanti bei pesciolini da killfilare, in
Pimmy "aggiungi Mittente al filtro mittenti bloccati news" funziona anche
su una selezione di piů post. In un solo colpo un'intera retata :->


 4) Oppure, adottare la posizione di Fusco già citata?
A me personalmente la posizione di Fusco pare molto sensata...

 sono i control firmati dal GCN quelli a cui si da usalmente credito.
Giustissimo, temo di essere stato poco chiaro e troppo generalizzante.
Mi riferivo ad altri tipi di "regole", di cui si è discusso anche
recentemente su ICCy ^_^; Cmq il senso della mia frase era che, pur non
essendoci la possibilità di imporre (cosa della quale io personalmente
sono contento), IMO non c'è niente di male a "consigliare"... un
consiglio "ufficiale" del GCN ha cmq un certo peso, di sicuro maggiore
rispetto a quello delle posizioni dei singoli membri, ancorchè
coincidenti o quasi. :)


Anche a me, per quel che conta :) 


 --
Hai scritto con Pimmy, vero?
ti è venuto fuori (tu non lo vedi) un carattere [dec.11] subito dopo la
faccicna composta da duepunti e parentesitonda. Io ci vedo un quadrato.
Per cui non c'è una riga vuota (ceme invece vedi tu) prima del separatore
di firma. 
Quando tu leggerai questo mio messaggio non capirai bene, salvo
visualizzarlo con Dialogo. Da altre discussioni avute, penso tu abbia
digitato contemporaneamente Invio+Shift causando questo fatto 

 digitato contemporaneamente Invio+Shift causando questo fatto
Sta roba qui   , ditaccia mie! 

 espressa da CarloF.)? Finora questa prova non la abbiamo avuta, almeno
andando a spulciare nel codice di Moderatore (*) , credo che questa sia la
riga incriminata (disclaimer, io di programmazione capisco un
$reproductive_male_organ quindi da prendere con le pinze quello che dico):
for ($error) {
[...]
/^cleanbody: Invalid characters/   && do { $why = 'invchars'; last };
[...]
}
e il modulo "cleanbody" - che viene invocato precedentemente e su cui si
controlla l'eventuale presenza di "Invalid characters" in stderr con quel
ciclo for/do - di news::gateway (**) contiene questa:
return "Invalid characters in body" if (!/^[\s!-~\xa0-\xff]*$/);
quindi, abbiamo una regex definita nella character class (le robe tra
parentesi quadre) che serve rigettare tutto quello che contiene un
carattere che sia fuori dal range di ottetti della 8859-1, per la
precisione TAB, CR LF, FF (che in perl viene riassunto da \s, il range !-~
e il range di byte espressi in esadecimale a0-ff) . Il problema non č
quindi direttamente l'UTF-8, ma quali ottetti sono presenti nel messaggio.
(*) 
http://www.linux.it/~md/software/robomod.tgz
(**) 
http://www.eyrie.org/~eagle/software/gateway/
-- 
Carlo Fusco


 del testo abbastanza evolute, tra cui anche il "trova e sostituisci".
Tralascio sul fatto che "trova e sostituisci" sia una funzione evoluta,
comunque devi usare quella funzione, sostituendo “ con ", ” con " e ’
con '.
-- 
daRkSidE, 20/12/2004 19.00.55
[16/16 - L'America del Rock - 13 - Il suono degli Anni Novanta] Artisti
Vari: Frank Zappa/Ensemble Modern - G-Spot Tornado

 quindi direttamente l'UTF-8, ma quali ottetti sono presenti nel messaggio.
Quindi taglia via proprio la parte proibita dei cp-windows (da 127 fino
ad 159) tra cui oltre l'apostrofolungo e le virgolettefrancesi ci sta
anche ad es. un trattinoorizzontale 150 "endash"  che era anche lui
presente nell'articolo bloccato che ho visto su news.moderaz, consigliamo
a Nathan di aguzzare la vista ed individuare anche i trattiniorizzontali
 
http://www.cs.tut.fi/~jkorpela/www/windows-chars.html

 fa il cut&paste :)
| In più, tutti a rompere le scatole agli sviluppatori del nostro
| newsreader preferito per chiedere un supporto sempre migliore per
| l'UTF-8.
A me pare veramente incredibile che debbano essere i newsreader più
evoluti a dover sviluppare le cose due volte, perché c'è chi non si
vuole adeguare a un charset ampiamente diffuso.
-- 
daRkSidE, 20/12/2004 21.55.12
[29/31 - Nuggets Volume 2] Artisti Vari: Syndicate Of Sound - Little
Girl

 reader della possibilità di postare in Utf-8)
Uscendo con una dichiarazione sballata? Il rimedio è notevolmente
peggiore del male e presumo comunque che darebbe ugualmente il
problema. Il carattere rimane al di fuori di ISO-8859-1 e quindi il
robomoderatore blocca.
-- 
daRkSidE, 20/12/2004 21.45.32
[10/15 - Californication] Red Hot Chili Peppers: I Like Dirt

 quindi direttamente l'UTF-8, ma quali ottetti sono presenti nel messaggio.
E visto che ’ non fa parte di quel range, il messaggio viene rigettato.
Fin qui è chiaro. Ma, analogamente, quella regex non dovrebbe bloccare
anche il glifo dell'euro €?
-- 
daRkSidE, 20/12/2004 21.38.57
[02/08 - Led Zeppelin IV] Led Zeppelin: Rock and Roll

 tranquillamente anche con il solo Ascii :)
Non capisco cosa c'entri. Il fatto che il mondo anglosassone non si
ponga questo problema (cosa poi discutibile, visto che anche ad alcuni
di loro capiterà il problema di scrivere qualche lettera greca o un
qualche fonema), non si significa che possa essere una necessità
condivisa quella di diffondere una codifica che possa essere usata da
persone aventi diverse lingue e diverse culture.
-- 
daRkSidE, 20/12/2004 20.48.42
[04/05 - Vision] Shankar: Psychic Elephant

quindi direttamente l'UTF-8, ma quali ottetti sono presenti nel messaggio.
Allora per *fregare* il robot basta indicare content-transfer-encoding 7bit
e charset utf-7.
-- 
-antonio-
www.geminisoft.com
(email valida sul mio sito)

 quella regex non dovrebbe bloccare anche il glifo dell'euro €?
Perché? l'euro quello vero, sta nella posizione 164  A4
casomai dovrebbe bloccare quello finto 128 80, esattamente come blocca le
virgolettefrancesi trattinoorizzontale e compagnia cantante
Piuttosto non ho molto ben presente come funzioni la regex a seconda del
tipo di codifica del messaggio che arriva. Se arrivasse un messaggio in
utf8, come si comporta? esamina carattere per carattere le sequenze
grezze multiple di due o tre o quattro caratteri, oppure prima il
messaggio viene prima decodificato per poterlo esaminare?

 vuole adeguare a un charset ampiamente diffuso.
Ti riferisci ai messaggi un utf8? Aspetta perché si sta facendo
confusione mescolando il semplice e puro metodo utf e dall'altra parte
l'uso di caratteri windows proibiti. Per non far confusione forse si
dovrebbero esaminare separatamente quei due aspetti, e solo in un secondo
tempo vedere come vanno le cose combinandoli assieme
(nonsosemispiegodisseilparacadute)

 messaggio viene prima decodificato per poterlo esaminare?
da quello che ne capisco (e posso sbagliarmi ovviamente) il modulo in
questione per applicare la regex decodifica preventivamente solo quando il
messaggio è stato prima codificato in QP. Penso quindi che sia giusta la
prima ipotesi che hai detto.
Ah, il modulo fa anche un paio di sostituzioni al volo:
# Convert Microsoft smart quotes to their real counterparts.
tr/\x91\x92\x93\x94/\`\'\"\"/;
s/\x85/--/g;
# Remove CRs (DOS line endings, most likely) and delete characters.
tr/\r\x7f//d;
+++
Tra l'altro mi sovviene che questo stesso modulo nasconde un bug che
alcuni anni fa non sono stato capace di inchiodare, che ne capivo ancora
meno di adesso di Perl. Nel decodificare il QP certe volte si creano delle
righe superiori a 80 colonne che fanno scattare questo:
return "Line over 79 characters" if (length $_ > 80);
e causanno il rifiuto del messaggio. C'era allora un utente di questo ng
molto appassionato di outlook (non mi sovviene il nome, purtroppo) che
postava abitualmente in QP e che saltuariamente si vedeva rimbalzare gli
articoli postati su it.comp.software.mailreader. 
Questo modulo decisamente andrebbe revisionato.
-- 
Carlo


  
http://www.cs.tut.fi/~jkorpela/www/windows-chars.html
in realtà le sostituzioni di caratteri "problematici" che hanno una
ragionevole controparte Latin-1 potrebbero esser fatte con una riga di
regex dal modulo stesso, che in effetti come dicevo in un altro post
qualche cosa in tal senso la fa.
-- 
Carlo


(nonsosemispiegodisseilparacadute)
(nonsosehocapitobenissimo) ma credo  che hai colto un punto importante :)


 Nel decodificare il QP certe volte si creano
Ma, altra questione al fuoco... il QP come starebbe nelle news?
sconsigliatosemplicemente, sconsiglaitofortemente, proibitodeltutto
o che altro?


Ovviamente oltre alle virgolette si potrebbero aggiungere alla lista altri
caratteri problematici da sostituire, pallini, lineette anomale, ecc.
Che ne pensi?

 rappresentazione e non saprei come generalizzarlo,
Forse posso generalizzarlo con un controllo OnOutgoungMessageCheck, che
viene fatto prima della codifica, quindi del tutto indipendente dalla
codifica del messaggio.
| // Sostituisci carateri Win problematici v.0.2 
| 
| 
| program OnOutgoingMessageCheck;
| 
| 
| function StringReplace(S, OldPattern, NewPattern: string): string;
| var
|   SearchStr, Patt, NewStr: string;
|   Offset: Integer;
| begin
|   SearchStr := S;
|   Patt := OldPattern;
|   NewStr := S;
|   Result := '';
|   while SearchStr <> '' do
|   begin
|     Offset := AnsiPos(Patt, SearchStr);
|     if Offset = 0 then
|     begin
|       Result := Result + NewStr;
|       Break;
|     end;
|     Result := Result + Copy(NewStr, 1, Offset - 1) + NewPattern;
|     NewStr := Copy(NewStr, Offset + Length(OldPattern), 
2147483647
);
|     SearchStr := Copy(SearchStr, Offset + Length(Patt), 
2147483647
);
|   end;
| end;
| 
| procedure OnOutgoingMessageCheck(Message: TStringlist; var Warnings, Errors: TStringlist);
| 
| var s:string;
| begin
| s:=message.text;
| s:=StringReplace(s,'"','"'); // virgolette inglesi sx con normali
| s:=stringreplace(s,'"','"'); // virgolette inglesi dx con normali                                 
| message.text:=s;
| end;
| 
| begin
| end.
Sulle virgolette pare funzionare, dovrei provare a estenderlo agli altri
caratteri proibiti più comuni (c'è una lista?)

 Sulle virgolette pare funzionare, dovrei provare a estenderlo agli altri
Ehm no, parlato troppo presto, in realtą la nuova vers non mi funzia :/

 Ehm no, parlato troppo presto, in realtà la nuova vers non mi funzia :/
Ovvero si compila correttamente ma non sostituisce. Devo aver sbagliato
qualcosa.


di cataldo VALLONE del 22 Dec 2004 18:47:15 GMT
Però come si vede in quel messaggio su test.moder ci sono state alcune
sostituzioni errate (mi sembra tre) Forse a causa di una sostituzione
automatiche presente che diceva CarloF 
Oltre all'euro di win che però essendo complicato già lo conosciamo.

automatiche presente che diceva CarloF 
A me pare 5.  Nel tuo messaggio non mi appaiono correttamente le due dash,
le due oe ligature e il fiorino. 


 virgolettefrancesi trattinoorizzontale e compagnia cantante
Sì, hai ragione. Avevo fatto il tipico test partendo dalle condizioni
sbagliate.
-- 
daRkSidE, 25/12/2004 19.37.58
[06/10 - Lindbergh (Lettere da sopra la pioggia)] Ivano Fossati: Mio
fratello che guardi il mondo

 Content-Type: text/plain; charset="iso-8859-13"
l'ha scelto Dialog oppure tu 'a mano' ?
-- 
Sani
Questa è una firma automatica di MesNews, NR free, ora anche in 
italiano.
Sito: 
http://beam.to/mesnews

l'ha scelto Dialog oppure tu 'a mano' ?
Dialog non permette di modificare il charset a mano, AFAIK.
Probabilmente Dialog ha impostato automaticamente quel charset perché nel
testo del mex comparivano caratteri non presenti nell' iso-8859-1 e
presenti invece nel 13 (anche in altri, ma si vede che il 13 precedeva gli
altri nella lista dei charset consentiti, lista modificabile nelle
Impostazioni).


 l'ha scelto Dialog oppure tu 'a mano' ?
Dialog sceglie sempre automaticamente il primo charset, in una lista
impostabile, che includa tutti i caratteri presenti nell'articolo
inviato.
-- 
daRkSidE, 27/12/2004 17.51.46
[12/30 - Nuggets Volume 4] Artisti Vari: The Charlatans - Codine