Newsgroup: it.comp.software.newsreader
Titolo: Hamster e importazione messaggi: visualizzazione data non corretta

Salve a tutti.
 
Anni e anni fa avevo scaricato tramite uno script (suckgoogle) annate di post da un gruppo di discussione, adesso finalmente mi sono messo in testa di importare tutti i singoli messaggi in hamster e da lì usare un qualsiasi newsreader.
La funzione di importazione in hamster da riga di comando funziona, anche se pur riconoscendo il numero degli articoli di prova che ho indicato poi ne importa effettivamente un numero minore, e non ho capito perché.
 
Il problema è il riconoscimento della data, che evidentemente è in un formato non standard.
Di tutti i newsreader che ho a disposizione (Agent, Xnews, Thunderbird, Gravity, News Xpress) solo News Xpress riesce a gestire la data correttamente. Tutti gli altri no.
 
Vorrei sapere se avete delle idee su come gestire la cosa, o altri newsreader da provare, possibilmente in ambiente windows.
 
Grazie.
 
Mandi
 MMC

 Vorrei sapere se avete delle idee su come gestire la cosa, o altri newsreader da provare, possibilmente in ambiente windows.
 
Usavo Hamster forse 20 anni fa, e ancora mi manca :-) Con lo scripting 
dovresti farcela, ma non ricordo molto, io darei un occhio all'help...


Eh, non so nulla di scripting, e ho già guardato l'help. Le impostazioni che si possono dare al momento dell'import non riguardano il formato della data, purtroppo, e gli altri esempi nell'help non mi sembrano pertinenti.
 
Però ho fatto qualche prova in più considerando blocchi di post più recenti, e alcuni di questi li importa correttamente e altri no. Quindi mi viene il dubbio che non sia un problema di formato con cui suckgoogle all'epoca scaricò i singoli post, ma di come sono nati all'origine. Dovrei provare a modificare la data come compare nei post che vede correttamente e provare ad importare di nuovo... poi mi troverei a dover gestire migliaia di post, ma è un altro problema! :)
 
Grazie comunque dell'aiuto.
 
Mandi 
 MMC

 Grazie comunque dell'aiuto.
 
Mi dispiace di non poter ricordare di piu': ai tempi, usavo Hamster sia 
con posta che con le news, adesso invece (nemmeno sempre) uso Leafnode 
su Linux. Non ricordo come salvava gli articoli, probabilmente tutti 
assieme, magari - facendo un backup - si potrebbe controllare che tutte 
le righe che iniziano per "Date: " siano poi nel formato corretto. 
Oppure usare l'utilita', che mi pare si chiamasse ham.exe, a linea di 
comando per esportare i messaggi e reimportarli, dopo aver controllato 
la riga della data.
 

 la riga della data.
 
Infatti ham.exe è il modo migliore per importare ed esportare, ed ho usato quello. Il problema è importare dei messaggi che, se ho capito bene, non hanno il formato della data standardizzato per hamster, quindi quando i newsreader vanno a prendersi i post risultano date sballate.
 
Ad ogni modo se riesco questo fine settimana faccio altre prove e vediamo quello che viene fuori.
 
Grazie.
 
Mandi
 MMC

 sballate.
 
probabile un problema in fase di "suzione". ritengo che hamster segua gli
standard.
 
se riesci posta l'header `Date:' preso dal raw di un articolo problematico
 

 se riesci posta l'header `Date:' preso dal raw di un articolo problematico
 
Post con data NON visualizzata correttamente:
Date: 1996/11/02
 
Post con data corretta:
Date: Sat, 25 Nov 2000 10:36:29 GMT
 
Ho modificato a mano 5 post che prima erano errati con il formato della data corretta, ma ham.exe ne importa bene solo 1 su 5.
Ho provato con altri 5 e ne vede correttamente 3 su 5. Il campo data visualizzato nel messaggio dentro il newsreader è corretta, ma l'ordinamento del post nel thread non la rispetta in tutti i casi.
 
Non so bene quali altre prove potrei fare, ma ci rifletto ancora un po'. :(
 
Mandi 
 MMC
 

 Ho provato con altri 5 e ne vede correttamente 3 su 5. Il campo data visualizzato nel messaggio dentro il newsreader è corretta, ma l'ordinamento del post nel thread non la rispetta in tutti i casi.
 
Il campo Date deve avere quel formato, vista la RFC, e sicuramente il 
primo e' sbagliato. L'ordinamento non credo sia fatto sulla data, ma 
sulla combinazione tra msg-id dell'arricolo sul news server: in 
References ci va a finire infatti il messaggio a cui si risponde, la 
data e' accessoria,

 data e' accessoria,
 
Qui mi sono un po' perso, puoi spiegarmi meglio?
Pensavo che l'ordinamento e il raggruppamento del thread si facesse in base al subject e alla data. Se ci si mette anche il message-ID è finita, non riuscirò mai ad avere i thread in ordine. :(
Hai idea di come possa fare per ordinare i messaggi correttamente dentro hamster?
Grazie.
 
-- 
Mandi 
MMC

 Hai idea di come possa fare per ordinare i messaggi correttamente dentro hamster?
 
Credo che ci debba pensare il newsreader, non Hamster...
 

 i casi.
 
come ti è stato risposto altrove, la struttura del 3ad è data dalla
sequenza degli identificativi di messaggio riportata nel campo
`References' degli articoli.

 Credo che ci debba pensare il newsreader, non Hamster...
 
E curiosamente solo un newsreader su tutti quelli che ho provato lo fa correttamente.
 
Ci ragiono ancora un po'. Grazie.
 
 
-- 
Mandi
 MMC

 `References' degli articoli.
 
Si, adesso ho capito. Resta il punto che non saprei come andare ad ordinare in automatico anche il campo Reference, per la data magari qualche sistema trovo, ma a dover gestire anche il Reference va oltre le mie forze e il mio tempo. :)
 
Alla fin fine si tratta quasi di un passatempo, mi sarebbe piaciuto avere tutto lo storico di un gruppo a cui sono legato in locale, ma se non ci riesco pazienza, campo lo steso. :)
Però qualche tentativo volevo farlo, grazie dell'aiuto. :)
 
Se ho altri aggiornamenti li condivido.
 
-- 
Mandi
 MMC

 qualche sistema trovo
 
se le date errate hanno tutte formato aaaa/MM/gg, ho buttato giù questo
script da copincollare in powershell.
 
se hai W10 sei abbastanza sicuro che funzioni. entri nella cartella che
contiene tutto e fai click destro tenendo premuto shift. prima di tutto
devi dare questi due comandi, perché le date vengano generate in
inglese:
 
#v+
Set-Culture en-US
 
powershell
#v-
 
(il primo cambia lo standard con cui vengono visualizzati data, ora,
valuta -ti accorgi che ha avuto effetto anche solo aprendo il calendario
in tray area; il secondo lancia una shell nella shell, in modo che
prenda la nuova impostazione di sistema)
 
poi copi e incolli (nel terminale di powershell basta un click destro e
ti spara il testo dal cursore in giù, le righe -anche se spezzate- si
confermano con un'unica pressione del tasto invio) questo, adattando la
maschera dei file in modo da beccare quelli degli articoli (ho
ipotizzato *.txt):
 
#v+
ls -Recurse *.txt | Select -Expand FullName |
%{
    (Select-String -Path $_ '^Date: .*(\d{4}/\d{2}/\d{2}).*$' |
     Select -First 1 |
     ?{
       $datapost = $_.Matches[0].Groups[1].Value
       If ($datapost -ne "") {
        $vdatapost= [Regex]::Escape($_.Matches[0].Value)
        $datapost = [DateTime]::ParseExact($datapost,"yyyy/MM/dd",$null)
        $ndatapost= "Date: "+(
            Get-Date $datapost -Format "ddd, dd MMM yyyy HH:mm:ss"
                             )+" +0100"
       }
     }
    )
    If ($ndatapost -ne $null) {
     $_,$vdatapost,$ndatapost -Replace "\n+","\n"
     (Get-Content $_) -Replace "^$vdatapost",$ndatapost | Set-Content $_
    }
    Remove-Variable *datapost
}
#v-
 
(i simboli del verbatim non vanno copiati)
 
cosa fa? la lista di tutti i file di testo, ricorsivamente anche per le
sottodirectory, poi espande il percorso di tutti i file trovati e li
passa ad una ricerca in ciascuno dei campi della data errati; seleziona
solo il primo incontrato nel file (metti che ci siano esempi o più
header della data), lo mette da parte in una variabile, poi ci crea un
oggetto tipo data e ne salva il valore in un'altra variabile con il
formato voluto (ho messo il ns. fuso); se quest'ultima variabile risulta
non nulla, viene effettuata la sostituzione di testo nel file. in output
vedrai il nome del file che ha subito la correzione, la stringa trovata
(con gli escape per la ricerca letterale) e la nuova data.
 
una volta finito, ricorda di togliere le impostazioni anglosassoni
en-US, utilizzando it-IT
 
se decidi di provare, lavora su una copia dei dati.
 
PS - Notepad++ è serio, ma dovendo operare su più file questo mi pare il
modo migliore.
 

 modo migliore.
 
Grazie ancora.
 
-- 
Mandi
 MMC

 modifica anche qelle?
 
cerca solo le date con il formato indicato sopra (non corretto),
saltando tutte quelle che hanno un altro formato (che sia giusto o
sbagliato)
 
se hai dubbi o curiosità, chiedi.
 
ciao

 se hai dubbi o curiosità, chiedi. 
 
Benissimo, grazie dell'aiuto. Nel fine settimana faccio un po' di prove.
 
-- 
Mandi
 MMC

 (i simboli del verbatim non vanno copiati)
 
Chissà chi riesce a leggere i verbatim_marks. :-?
Solo chi usa Gnus e slrn, oltre al mio NR. :-)
Per fortuna non c'erano smileys da intrepretare...
 
    ..._skipped!_
-- 
    * b *
  *   y   *
*   Pierо   *
#v+
Ho nascosto qualche grammo di cervello per uso personale.
#v-
 
 

 (i simboli del verbatim non vanno copiati) 
 
Mi era sfuggito di chiederti: cosa sono i simboli del verbatim (che non devo copiare)?
 
Grazie.
 
 
-- 
Mandi
 MMC

 devo copiare)?
 
#v+
˄˄˄
simboli verbatim
˅˅˅
#v-
 
(che in ps rappresenterebbero commenti, quindi non è un problema se per
sbaglio ne prendi su qualcuno)
 

 se hai dubbi o curiosità, chiedi. 
 
Dovrai avere molta pazienza con me! :)
 
Alla fine ho capito cosa intendevi per "verbatim", grazie. :)
 
Allora, al momento di copia&incollare il tuo script in powershell dalla seconda riga in poi ogni riga ha all'inizio un doppio simbolo di maggiore ">>".
Ho dato invio lo stesso ma non è cambiato nulla.
Ho cancellato a mano ogni doppio maggiore e messo uno spazio, e poi invio ma non è successo nulla lo stesso, nel senso che la data nei singoli file non è cambiata. I file sono senza estensione, quindi ho cambiato solo il primo parametro dello script mettendo un *.*
 
Se copio prima lo script in blocco note e poi da qui lo ricopio in powershell mi fa lo stesso problema.
 
Può essere perché Windows 10 è in una macchina virtuale sotto OSX?
 
Lunedì dovrei provare in ufficio direttamente in una macchina win10.
 
Grazie.
 
-- 
Mandi
 MMC
 

 Lunedì dovrei provare in ufficio direttamente in una macchina win10.
 
ripeto, la piattaforma non dovrebbe influire.
 

 la mela)
 
Su Mac c'è il terminale che è una shell BASH.
 
Riprovo, grazie.
 
-- 
Mandi
 MM

 Grazie.
 
Ma niente...
-- 
    * b *
  *   y   *
*   Pierо   *
#v+
-panem et circenses-
#v-
 
 

Il giorno mercoledì 7 aprile 2021 alle 17:11:33 UTC+2 Mail MasterC ha scritto:
 
Aggiornamento (scusate il ritardo).
 
Il cambio data con lo script di issdr ha funzionato, grazie!
 
Ho importato i post dentro hamster e sono visibili con Xnews (che uso attualmente).
 
Ho riscontrato i seguenti punti:
 
1) di tutti i post di un mese, quando sono andato a fare l'importazione, hamster mi dice che ne ha riconosciuti una certa quantità ma ne ha importati molti di meno, circa il 50% sono scartati (ma non ho indicazioni di quali e del perché). Per i post dei mesi che erano già dentro hamster mi sta bene, ma per  i mesi nuovi non capisco il motivo. Posso aspettarmi qualche errore di formattazione o post per qualche motivo non nel formato corretto al momento della suzione da google, ma la metà mi pare un po' troppo. Ma non ho elementi per capire cosa sia successo. I log di hamster non segnalano nulla.
 
2) i thread non sono ricostruiti correttamente, mancando il referenceID come mi avete spiegato, quindi sono raggruppati solo per subject e per data. Diciamo che me lo faccio bastare. :)
 
3) Molti thread non sono completi, probabilmente per gli errori del punto 1. Se avete qualche idea posso riprovare ad importarli di nuovo con qualche variazione, ma nel manuale di hamster non sono riuscito a trovare nessun aiuto.
 
Grazie comunque per l'aiuto che mi avete dato. :)
 
-- 
Mandi
 MMC
 

 Grazie comunque per l'aiuto che mi avete dato. :)
 
Ringrazia pure issdr, il suo script ha fatto miracoli. :-)
Pur essendo corretto quello script, non credevo ci riuscisse, visto il
casino che si era creato nell'importare i messaggi...
 
-- 
    * b *
  *   y   *
*   Pierо   *
#v+
-deus ex machina-
#v-
 
 

 casino che si era creato nell'importare i messaggi...
 
Mi resta il dubbio di capire come mai ci siano così tanti errori di importazione, soprattutto nei mesi più vecchi, ma dovrei fare un controllo puntuale post per post e capire quali legge e quali no e poi desumere eventuali motivi di errori... ma la vedo lunga... Vediamo se nei prossimi giorni mi resta la voglia di provarci. :)
 
 
-- 
Mandi
 MMC

 provarci. :)
 
Auguri e tanta pazienza, perché sarà un lungo lavoro. :-)
-- 
    * b *
  *   y   *
*   Pierо   *
#v+


 capire cosa sia successo. I log di hamster non segnalano nulla.
 
seleziona un po' di articoli scartati e condividili in qualche modo. il
campo `References' risulta proprio mancante in alcuni?
 

 campo `References' risulta proprio mancante in alcuni?
 
Mi ci metto questo fine settimana, poi vi aggiorno.
 
Grazie.
 
-- 
Mandi
 MMC


organization: Italia Online
newsgroups: it.fan.cuore,soc.culture.italian,it.cultura.cybersocieta,it.politica
 
#v-
 
Adesso che rileggo con calma, io ho fatto lo scarico solo per il gruppo it.arti.fumetti, che in questo post non è nemmeno elencato. Ma non credo che sia il motivo della mancata importazione, ad ham.exe ho detto di importare tutto quello che c'era in una cartella specifica senza dare altre indicazioni.
 
Ad ogni modo, rileggere post di 25 anni fa è un tuffo nella psicologia dei primi internauti italiani non da poco. :)
 
Grazie ancora a tutti.
 
-- 
Mandi
 MMC

#1/1
 
dubito ci possa essere qualcosa dopo la parentesi angolare
chiusa. cancella gli ultimi quattro caratteri e ritenta l'import. se
questo risolve il problema, i file si possono ripulire in automatico.
 
anche per i doppioni, non vanno cercati uno per uno, basta un monoriga
ben impostato:
 
#v+
awk '/^Message-ID: /{if (d[$0]++) print FILENAME}' *
#v-
 
dovrebbe essere uno strumeto disponibile in bash. cerca all'interno dei
file le righe che iniziano in quel modo, le utilizza come indice di un
vettore (d)uplicati, incrementandolo (++) ogni volta che l'indice si
ripete (la prima volta `++' crea una voce a 0). poichè 0 è falso ed è vero
ciò che è diverso da 0 (in caso di doppione sarà maggiore), la
condizione sarà soddisfatta solo da ID già incontrati in precedenza e
in quei casi verrà emesso il nome del file.

 Riporto qui gli header dell'unico post che non è stato riconosciuto da ham.exe, se trovate qualche aspetto strano posso provare ad indagare sugli altri post scartati e fare un secondo passaggio di importazione.
 
Io non mi ricordo piu' le RFC, che allora leggevo piu' dei quotidiani, 
pero' di solito l'header References ha l'iniziale maiuscola (come gli 
altri header, del resto), se anche fosse non necessario, i vari 
programmi che usi potrebbero comunque ricercare la forma comune...

 programmi che usi potrebbero comunque ricercare la forma comune...
 
Ho verificato sui post importati correttamente, e, dove presente, il campo "reference" ha la minuscola, quindi non dovrebbe essere il problema, ma se questo può aumentare in qualche modo la quantità di post importati, meglio.
 
Grazie.
 
-- 
Mandi
 MMC

 #v- 
 
Posso usarlo in powershell come l'altro script che hai fatto? Come sopra, se posso farlo sotto windows sarebbe meglio perché posso farlo in multitasking mentre lavoro. :)
 
Grazie infinite!
 
-- 
Mandi
 MMC

 Grazie.
 
Prego, ma ora ti chiedo una cosa io. Visto che ho iniziato a leggere il 
thread non all'inizio, dove trovi i vecchi post del '96? Ricordo che 
Google butto' via tutto, sperando che la gente andasse sui suoi 
gruppi... tra l'altro, ricordo anche che quelli che postavano da 
Googlegroups mandavano messaggi non proprio conformi alle RFC, nel piu' 
puro stile di Google di rompere le scatole agli altri per trarne 
vantaggi, e questo potrebbe essere causa di altri problemi nel threading 
di Hamster...
 

 di Hamster...
 
Infatti, tutto purtroppo vero. Non sapendo io come devono essere fatti i messaggi per essere conformi alla RFC, e non sapendo se l'autore dello script ne fosse a conoscenza, il rischio che qualcosa non sia andato per il verso giusto c'è tutto. :)
 
-- 
Mandi
 MMC

 Posso usarlo in powershell come l'altro script che hai fatto?
 
no, come t'ho scritto, funziona con *nix (ti avrebbe dato solo la lista
dei file da eliminare, senza farlo). linux si può avere in 10' sotto W10,
avendo diritti di amministratore, una linea veloce e riavviando una
volta. ad ogni modo, ps:
 
#v+
ls -Recurse -File * | Select-String "^Message-ID.*>$" | group line |
    %{ if ( $_.count -ge 2 ) {
          rm -WhatIf ( $_.group.path | select -f ( $_.count - 1 ) ) }
    }
#v-
 
togli il `-WhatIf' quando ti senti sicuro.
 
 

 Infatti, tutto purtroppo vero. Non sapendo io come devono essere fatti i messaggi per essere conformi alla RFC, e non sapendo se l'autore dello script ne fosse a conoscenza, il rischio che qualcosa non sia andato per il verso giusto c'è tutto. :)
 
Non c'e' da sapere poi gran cose. Il messaggio e' fatto come quello 
delle mail. Gli header importanti sono quelli che indicavi, quelli con 
X- sono tutti degli extra, References serve invece per indicare non solo 
il messaggio padre, ma anche tutta la conversazione.
 

 togli il `-WhatIf' quando ti senti sicuro.
 
Lavoro sempre su backup multipli, ho imparato "the hard way"! :)
 
Grazie.
 
-- 
Mandi 
 MMC

 quindi tutte le prove le ho fatte in una VM di XP. :)
 
quindi potevi pasticciare e installare gawk tramite cygwin... quel tool
è molto particolare e utile.
 
provato a far girare ham.exe in una "gabbia" xp? (non so se w10 le ha
ancora, mi pare di averle usate in 7 l'ultima volta)

 ancora, mi pare di averle usate in 7 l'ultima volta)
 
Infatti la "gabbia" che dici tu esiste solo in Windows 7, in modo nativo, che io sappia. Poi bisogna usare Virtual PC o Virtual Box.
La VM di XP che ho usato sta sotto Parallels in OSX, per dire i giri tortuosi. :)
 
-- 
Mandi
 MMC

 #v- 
 
Sicuramente sbaglio qualcosa io, ma quando lancio lo script dalla cartella padre che contiene le varie cartelle figlie (che a loro volta contengono i singoli post), ottengo questo errore con entrambi gli script:
 
#v+
Get-Content : Impossibile associare l'argomento al parametro 'Path' perché è
null.
In riga:2 car:9
+ %{ ( gc $_ ) -replace "^(Message-ID: .*>).+",'$1' | sc $_ }
+         ~~
    + CategoryInfo          : InvalidData: (:) [Get-Content], ParameterBindingVa
   lidationException
    + FullyQualifiedErrorId : ParameterArgumentValidationErrorNullNotAllowed,Mic
   rosoft.PowerShell.Commands.GetContentCommand
#v-
 
Ho visto che c'è il parametro -recurse e mi aspettavo che lavorasse anche nelle sottocartelle.
Se invece lo lancio da ogni cartella che contiene i post funziona senza problemi.
 
Grazie.
 
-- 
Mandi
 MMC 

 script:
 
l'errore è causato dalla ricerca della stringa andata a vuoto (non ha
trovato nessun file corrispondente in quella cartella). non l'ho gestito
perché non interrompe l'esecuzione.
 
dopo la prima esecuzione, in teoria dovrebbe darti solo errori, perché
tutte le stringhe sono state sistemate
 

 tutte le stringhe sono state sistemate
 
Infatti sui mesi già fatti se rilancio lo script mi da lo stesso errore.
Ok, vado avanti. 
 
Grazie ancora.
 
-- 
Mandi
 MMC

 In pratica ho interi mesi di post senza il campo reference.
 
su questo si può poco. alcuni poster riportavano il m-id di colui a cui
rispondevano, avrebbe fatto comodo in questa situazione.
 
a parziale discolpa dello script, c'è il fatto che google con i ng ne ha
combinate d'ogni, sempre senza preavviso.
 
ciao
 

 combinate d'ogni, sempre senza preavviso. 
 
Ne sono ben consapevole, è che all'epoca google era l'unico repository a libero accesso (sort of), se non ricordo male si inglobò lo storico di dejanews e come sappiamo se lo gestì a proprio uso e consumo.
Non ne faccio certo una colpa a te o al tuo preziosissimo lavoro. :)
 
Finito di lanciare gli script e di sfoltire, sembra che ci fossero circa 5000 doppioni (mi aspettavo qualcosa di più, ma va bene).
 
A breve riprovo ad importare con hamster e vediamo se miglioriamo la performance. :)
 
-- 
Mandi 
 MMC

 Non ne faccio certo una colpa a te o al tuo preziosissimo lavoro. :)
 
mi riferivo a suckgoogle
 

 mi riferivo a suckgoogle
 
Ah ok, non avevo capito. :)
 
-- 
Mandi
 MMC

Il giorno martedì 27 aprile 2021 alle 16:44:07 UTC+2 issdr ha scritto:
 
Aggiornamento.
 
Dopo aver lanciato gli script di modifica caratteri e di "sfoltimento" doppioni (grazie issdr!), mi trovo con circa 5000 post in meno da importare in hamster, ossia 106.000 e rotti.
 
L'importazione in hamster ne vede poco meno di 84.000, quindi 22.000 non riesce a riconoscerli. Sicuramente alcuni post sono in html, ne ho trovati alcuni mentre facevo delle prove a campione, e se come immagino hamster non li riconosce li scarta per forza. Temo che di questi sia difficile estrapolare solo il body e i campi corretti senza i tag e confezionare un post rispettoso delle RFC che possa piacere ad hamster. Smentitemi se mi sbaglio. Mi sembrano comunque tanti se fossero solo in html, ma non saprei come altro interpretare il risultato.
 
La differenza fra post riconosciuti da hamster ed effettivamente importati resta comunque elevata: 58.000 riconosciuti ma non importati. 
Mi viene da pensare che molti di questi sono però doppioni. Come avevo già notato tempo fa dopo aver importato tutto l'anno 1997 mi sono trovato con post del 2001, quindi anche qui temo che ci sia lo zampino di suckgoogle.
Posso provare a lanciare lo script di eliminazione dei doppioni su tutti i post e vedere se ci sono effettivamente doppioni e quanti.
 
Capire quali post non sono stati riconosciuti e perché la vedo difficile per me, dopo aver trovato il caso del campo messageID "sporco", dovrei aprirne uno a uno e confrontarli con quello che vedo nel newsreader, ribadisco che non sono un manipolatore di testi in automatico. Però se potessi recuperare 50.000 e passa post potrei anche farlo. :)
 
Come sempre se avete altri suggerimenti sono ben lieti di provarli. 



f...@freemail.it
</a>)<br>Soggetto:Re: [IAF] per chi usa Outlook: mettete Re: invece di R: <br><font face=arial,sans-serif><table cellpadding=0 cellspacing=0 border=0 align=right><tr><td><tr><td>&nbsp;</td></tr><tr><td><a href=/groups?dq=&hl=it&lr=&ie=UTF-8&selm=7hl007%24spf%241%
40nslave1.tin.it
 target=_top>View this article only</a></td></tr></table></font>
Newsgroups:<a href=/groups?hl=it&lr=&ie=UTF-8&group=it.arti.fumetti target=_top>it.arti.fumetti</a><br>Data:1999/05/16 <br></font></td></tr></table><pre>Marco Pesce &
lt;p...@iol.it
&gt; wrote:
 
<font color="#660066">&gt; chi utilizza Agent come newreader vede molti vostri messaggi fuori
&gt; thread:  se possibile, settate il programma in modo che nel subject la
&gt; risposta cominci con Re:  e NON con R:  (o eventualmente aggiungete la
&gt; &quot;e&quot; a mano)</font>
 
Non si puo', e aggiungerlo a mano e' fuori questione.
Pero' si puo' scaricare una dll che ripara a questo bug di OE da questo
sito:
<a target=_top href="
http://vene.tsx.org/
">
http://vene.tsx.org/
</a>
link diretto al file:
<a target=_top href="
http://www.geocities.com/FashionAvenue/1075/msoeres.zip
">
http://www.geocities.com/FashionAvenue/1075/msoeres.zip
</a>
 
Se non avete voglia mandatemi una mail che ve lo mando io .. son solo 257 k
<font color="#660066">:)</font>
 
--
Ciao! [[-3 days!!!]]
Cdr. Lazarus Long - OOO - Capo della sicurezza di TIS1
l...@startrekmail.com
  -  ICQ 26989309
 
&quot;Everything in excess! To enjoy the flavour of life, take big bites.
Moderation is for monks&quot;
(from the Notebooks of Lazarus Long)</pre> &nbsp;&nbsp;<table border=0 width=100% cellpadding=0 cellspacing=0><tr><td bgcolor=#ffcc33><img height=3 alt="" src="/images/cleardot.gif"></td></tr></table><br><center><font size=-1>&copy;2003 Google</font></center></body></html>
#v-
 
 
-- 
Mandi
 MMC

 Come dicevo sicuramente alcuni sono in HTML (non so quanti), ne riporto qui uno
 
Ma, a parte il fatto che i post in html su usenet nemmeno vale la pena 
di leggerli :-), dato che chi li faceva non era evidentemente in grado 
di capire come funzionava usenet stessa, tutto quello che c'e' nel 
messaggio dopo la prima riga vuota e' indifferente per Hamster.
 
Hai postato il body di un messaggio, appunto. La parte che da' problemi 
nell'importazione e' quella precedente, gli header, salvo bug del 
programma, abbastanza improbabili dato che Hamster era fatto bene e il 
lavoro non e' complesso (leggere il body)

 wrote:
| 
| > chi utilizza Agent come newreader vede molti vostri messaggi fuori
| > thread:  se possibile, settate il programma in modo che nel subject la
| > risposta cominci con Re:  e NON con R:  (o eventualmente aggiungete la
| > "e" a mano)
| 
| Non si puo', e aggiungerlo a mano e' fuori questione.
| Pero' si puo' scaricare una dll che ripara a questo bug di OE da questo
| sito:
| [18]
http://vene.tsx.org/
 
| link diretto al file:
| [19]
http://www.geocities.com/FashionAvenue/1075/msoeres.zip
 
| 
| Se non avete voglia mandatemi una mail che ve lo mando io .. son solo 257 k
| :)
| 
| --
| Ciao! [[-3 days!!!]]
| Cdr. Lazarus Long - OOO - Capo della sicurezza di TIS1
| 
l...@startrekmail.com
  -  ICQ 26989309
| 
| "Everything in excess! To enjoy the flavour of life, take big bites.
| Moderation is for monks"
| (from the Notebooks of Lazarus Long)
| 
| 
| 
|                                 ©2003 Google
| 
| References
| 
|    Visible links:
|    1. 
http://groups.google.com/grphp?hl=it
 
|    2. file:///advanced_group_search?dq=&hl=it&lr=&ie=UTF-8&th=dca39d24f50850cb
|    3. file:///preferences?dq=&hl=it&lr=&ie=UTF-8&th=dca39d24f50850cb
|    4. file:///groups?dq=&hl=it&lr=&ie=UTF-8&threadm=7hkpj8$3ig$
1...@nslave1.tin.it
&rnum=2&prev=/&frame=on
|    5. file:///groups?dq=&hl=it&lr=&ie=UTF-8&th=dca39d24f50850cb&seekm=7hkpj8$3ig$
1...@nslave1.tin.it
&scoring=d
|    6. file:///groups?hl=it&lr=&ie=UTF-8&q=
author:p...@iol.it
+
|    7. mailto:
p...@iol.it
 
|    8. file:///groups?dq=&hl=it&lr=&ie=UTF-8&selm=
373a8ae5...@news.iol.it
 
|    9. file:///groups?hl=it&lr=&ie=UTF-8&group=it.arti.fumetti
|   10. file:///groups?hl=it&lr=&ie=UTF-8&q=
author:to...@iname.com
+
|   11. mailto:
to...@iname.com
 
|   12. file:///groups?dq=&hl=it&lr=&ie=UTF-8&selm=7hkpj8$3ig$
1...@nslave1.tin.it
 
|   13. file:///groups?hl=it&lr=&ie=UTF-8&group=it.arti.fumetti
|   14. file:///groups?hl=it&lr=&ie=UTF-8&q=
author:f...@freemail.it
+
|   15. mailto:
f...@freemail.it
 
|   16. file:///groups?dq=&hl=it&lr=&ie=UTF-8&selm=7hl007$spf$
1...@nslave1.tin.it
 
|   17. file:///groups?hl=it&lr=&ie=UTF-8&group=it.arti.fumetti
|   18. 
http://vene.tsx.org/
 
|   19. 
http://www.geocities.com/FashionAvenue/1075/msoeres.zip
 
| 
|    Hidden links:
|   21. 
http://groups.google.com/grphp?hl=it
 
|   22. 
http://groups.google.com/grphp?hl=it
 
|   23. 
http://groups.google.com/grphp?hl=it
 
`----
 
questo è il contenuto dell'html nel file, sono stati "succhiati" e non
interpretati un paio di articoli. mancano diverse informazioni
essenziali, tipo ora, m-id e references.
 

 lavoro non e' complesso (leggere il body)
 
Quello che ho postato è il contenuto di tutto il post che ho, se mancano i campi di riferimento è chiaro che lo script di suzione non li ha interpretati correttamente e quindi mi pare di capire che non sia "recuperabile".
 
-- 
Mandi
 MMC

 essenziali, tipo ora, m-id e references.
 
Ok, quindi mi confermi che non sono praticamente recuperabili. 
Mi va bene, ci mancherebbe. Vorrei solo capire se posso mettere la parola FINE a questo lavoro o se c'è qualche altra cosa che posso fare. :)
 
Per ironia della sorte, è proprio un post che parla di leggibilità su usenet... :)
 
Grazie.
 
-- 
Mandi 
 MMC

 fare. :)
 
ci sarebbe da vedere se c'è regolarità, perché magari uno si smazza per
separare gli aricoli - ripulirli - creare gli header (references anche no,
ma il m-id lo "inventi" tipo data+rndno+email), mentre esistono anche
altri problemi e questo caso era minoritario
 

 altri problemi e questo caso era minoritario
 
Hai ragionissima, sono d'accordo con te, ormai per 1000 post non ne vale la pena. :)
Direi che il lavoro fatto è stato notevole ed egregio, grazie infinite.
 
Nei prossimi giorni faccio ancora un po' di controlli incrociati, non è escluso che torni a chiedere il vostro aiuto, in ogni caso grazie veramente di tutto l'aiuto e il supporto.
 
-- 
Mandi
 MMC

 questo tipo di post in articolo standard per hamster, vi ascolto. :)
 
Con alcuni è possibile, ma questo in particolare non si può trasformarlo
da .htm a plain text, ma se interessa leggere il solo testo puoi farlo
con un file che feci per utilizzarlo con MagicMailMonitor, considera che
trasforma un solo post alla volta.
 
Il file puoi scaricarlo da qui:
http://wikisend.com/download/192316/Html_to_Text_Converter.zip
 
 
    ..._skipped!_
 
-- 
    * b *
  *   y   *
*   Pierо   *
#v+
-deus ex machina-
#v-
 
 

 trasforma un solo post alla volta. 
 
Ottimo, grazie. File scaricato.
 
Adesso mi resta un'ultima cosa da chiedervi.
Come faccio ad identificare al volo fra 80.000 file quelli che sono HTML senza aprirli uno per uno?
 
Grazie.
 
-- 
Mandi
 MMC

 HTML senza aprirli uno per uno?
 
( gci -Recurse -File * | ?{ gc -First 1 $_ | Select-String "^\<html" } ).FullName
 
la semplice lista. potresti anche aggiungere un'estensione per marcarli
 
 

 la semplice lista. potresti anche aggiungere un'estensione per marcarli
 
Sempre da powershell, giusto?
 
Si, decisamente l'aggiunta di una estensione o modifica al nome del file o la copia in un'altra cartella mi farebbe comodo.
Posso chiederti anche questa aggiunta? Grazie. :)
 
-- 
Mandi
 MMC

 file o la copia in un'altra cartella mi farebbe comodo.
 
gci -Recurse -File * | ?{ gc -First 1 $_ | Select-String "\<html" } | 
    Rename-Item -NewName { $_.Name -replace '$','.html' }
 
sperando che in tutti i file ci sia il tag standard
 

 essenziali, tipo ora, m-id e references.
 
Qui mancano completamente gli header, piu' che altro. Che sono l'unica 
parte da correggere nei messaggi, tra l'altro, il resto va sempre bene.

 parte da correggere nei messaggi, tra l'altro, il resto va sempre bene.
 
Si me ne sono accorto, purtroppo questo è il file che ho io. Non so come sono messi gli altri post in HTML salvati. Appena identifico quanti sono capisco meglio come sono fatti nella struttura e vi faccio sapere.
 
Grazie.
 
-- 
Mandi
 MMC

 Si me ne sono accorto, purtroppo questo è il file che ho io. Non so come sono messi gli altri post in HTML salvati. Appena identifico quanti sono capisco meglio come sono fatti nella struttura e vi faccio sapere.
 
Ahime', se non ci sono gli header non gli fai niente, o li ricrei nei 
campi necessari, e sarebbe un lavoro immenso, o non li vedrai mai piu'. 
Comunque mi sono appassionato alla storia :-)

Il giorno martedì 4 maggio 2021 alle 11:23:10 UTC+2 issdr ha scritto:
 
Ho lanciato lo script su alcune cartelle per provare, ma i post individuati dallo script se aperti in un browser presentano tutto il thread, non sono il singolo post. Inoltre alcuni se li apro con notepad presentano questo:
 
#v+
<html><head><META HTTP-EQUIV="content-type" CONTENT="text/html; charset=ISO-8859-1"><title>Gruppi Google: visualizza tema "John Byrne e&#39; un disegnatore? (SPOILER)"</title></head><frameset cols=200,* frameborder=1 framespacing=1><frame frameborder=0 framespacing=0 marginheight=0 marginwidth=0 name=left src="/groups?dq=&hl=it&lr=&ie=UTF-8&frame=left&th=9dc504a5e4eddd0f&prev=/groups%3Fas_q%3D%26num%3D100%26as_scoring%3Dd%26hl%3Dit%26ie%3DISO-8859-1%26btnG%3DCerca%2Bcon%2BGoogle%26as_epq%3D%26as_oq%3D%26as_eq%3D%26as_ugroup%3Dit.arti.fumetti%26as_usubject%3D%26as_uauthors%3D%26as_umsgid%3D%26lr%3D%26as_qdr%3D%26as_drrb%3Db%26as_miny%3D2000%26as_minm%3D1%26as_mind%3D16%26as_maxy%3D2000%26as_maxm%3D1%26as_maxd%3D31&seekm=875496%24327%241%
40pinco.nettuno.it#s
"><frame frameborder=1 framespacing=1 name=right src="/groups?dq=&hl=it&lr=&ie=UTF-8&frame=right&th=9dc504a5e4eddd0f&seekm=875496%24327%241%
40pinco.nettuno.it#s
"></frameset><noframes><br><center>Il browser non supporta l'uso di frame. Per impostazione predefinita, Google utilizza i frame per visualizzare i temi. Fare clic qui per visualizzare la <a href=/groups?dq=&hl=it&lr=&ie=UTF-8&th=9dc504a5e4eddd0f&seekm=875496%24327%241%
40pinco.nettuno.it
&rnum=0>pagina senza frame</a>.<br><font size=-1>&copy;2003 Google</font></center>"</noframes></html>
#v-
 
E se li apro con un browser compare una pagina vuota con un frame e basta.
 
Mi pare di capire che la strada non è percorribile, i post scaricati in questo modo non presentano, come avete già dimostrato, elementi utili ad inserirli in un thread (reference e messageID), inoltre siamo sull'ordine di poche decine su alcune migliaia. Quindi non ha senso.
 
Ultima curiosità: mi pare di capire che lo script adesso cerca la stringa:
 
\<html
 
se volessi far cercare qualche altra stringa di testo allo script, basta che sostituisco il testo fra le virgolette dopo Select-String?
 
Grazie.
 
-- 
Mandi
 MMC

 basta che sostituisco il testo fra le virgolette dopo Select-String?
 
cerca solo nella prim riga del file. in questo ultimo esempio, il file
pare di una riga (andate a capo perse nel tuo c&p o dallo script?)
 
se lanci anche i conandi per rinominare, ho fatto uno script per copiare
o spostare i file in un'unica directory, cosa banale con la buona
interfaccia di W10 (anche se un po' nascosta), cosa relativamente
semplice con *nix perché `cp' ha un ottimo switch per i backup; con le
cli microsoft invece non c'è nulla funzionante ootb.
 
da directory radice dei post:
 
#v+
md html ; gci -dir -ex html | gci -r -Filter *.htm* |
foreach { if (Test-Path ("html\"+$_.Name)) {
    $i = 1
    do { $i++ } while (
       Test-Path (set percorso ("html\"+$_.BaseName+" ($i)"+$_.Extension) -p).Value
    )
    cpi $_.FullName $percorso
    rv i,percorso } else { cpi $_.FullName html }
}
#v-
 
crea una directory, ci copia dentro i file htm(l) trovati
ricorsivamente, senza sovrascrivere quelli che fatalmente hanno lo
stesso nome; al primo doppione viene aggiunto " (2)" in coda come
farebbe W10, gli altri a salire, sistema che mi piace perchè se riordini
in modo decrescente, vedi sotto il primo file l'ultimo doppione, che
riporta il numero delle copie totali. per doppione intendo omonimo, i
contenuti doppi li dovresti aver sfrondati tramite lo script per i m-id.
 
a lavoro fatto, hai il listato a cui mi riferisco qui sopra con questo
comando:
 
gci html | sort -d { [regex]::Replace($_,'\d+',{ $args[0].Value.PadLeft(20) }) }
 
se è andato tutto liscio, si possono poi cancellare i file
contrassegnati.
 

 contrassegnati.
 
Per ora li tengo così, mi sono segnato tutti i passaggi in un txt per futura memoria, direi che l'operazione recupero post è conclusa in modo soddisfacente, considerati i mezzi dell'epoca e la qualità dei dati di ingresso! :)
 
Ultima domanda: in Xnews avevo fatto una copia di alcuni post in una cartella dentro il programma, come archivio. Secondo voi c'è modo di importarla nuovamente in hamster?
 
Grazie ancora a tutti.
 
-- 
Mandi
 MMC

 Grazie ancora a tutti.
 
di nulla, ciao

 sapeva queste cose, ma non so se è in lettura. 
 
Ok, provo a cercare in questa direzione.
 
E invece fare la stessa operazione di export da un folder di Agent? Mi sono trovato una vecchia installazione di Agent e a questo punto vorrei provare a recuperare anche quella.
 
Grazie.
 
 
-- 
Mandi
 MMC

 vorrei provare a recuperare anche quella.
 
agent non dovrebbe essere difficile.
 
per gli mbx vedo che i passaggi meno complicati sono l'export con pine o
con thunderbird + ImportExportTools.

 con thunderbird + ImportExportTools.
 
Della serie: quando una volta i programmi erano fatti bene e standardizzati!
 
Con Xnews si possono selezionare i post e salvarli oppure dare in pasto ad ham.exe direttamente tutto il file del folder che avevo precedentemente esportato.
 
Con Agent stessa cosa, facendo attenzione a specificare UNIX format, NON raw e usare tutti i campi disponibili.
 
Più facile del previsto. :)
 
Mi chiedo a questo punto se possa fare differenza se importare in hamster prima i post "menomati" di google o aggiungerli solo a completamento.
 
Grazie.
 
-- 
Mandi
 MMC

 completamento.
 
se quelli sui nr e quelli succhiati sono a rischio intersezione, farei a
completamento

 completamento
 
E infatti, anche se ham.exe dovrebbe fare un controllo di eventuali doppioni, ma considerato che i post da google non sono proprio perfetti... Ok, questo fine settimana mi ci metto.
