Newsgroup: it.comp.os.linux.sys
Titolo: un aiuto a capire la differenza di performance

Salve a tutto il ng,
ho bisogno di un aiuto nel cercare di capire una differenza *abissale* di
performance tra il kernel 2.6.8-686-smp (debian) e il 2.4.27-686-smp
(debian)
Lo scenario e' questo:
hardware:
hp proliant biproc xeon 3G 2Gb Memoria 2Hd scsi 72Gb U160 (o U320 non
ricordo) in raid1 software (fs ext3)
disco esterno lacie da 500Gb FireWire 800, scheda FireWire 800 della lacie
su PCI-X
Il software sviluppato da me deve fare questo:
per ogni immagine tiff (size > 150MB) presente nel lacie
1. la apre (senza mostrarla)
2. ne calcola l'md5
3. la converte in jpeg ridimensionandola (salvandola sul raid1 software)
4. calcola l'md5 dell'immagine convertita
5. ripete 3 e 4 cambiando la dimensione
6. salva tutti i dati in un database (sqlite)
Il software dopo un primo ciclo (da 1 a 6) riporta una velocita'
complessiva di 0.9Mb/s per il kernel 2.6 e > 5M/s per il 2.4
il che si traduce, per elaborare 500Gb, nella differenza tra ca. 150 ore e
ca. 27 ore
Probabilmente per trovare un colpevole dovrei inserire un po' di codice di
debug per capire dov'e' il collo di bottiglia, la cosa strana e' che le
prestazioni del 2.4 sono paragonabili a quelle del 2.6 su altro hardware
(molto piu' modesto)
Avete qualche idea? vi e' capitato qualcosa di simile o di cosi' eclatante?
Una nota a margine, il disco lacie e' formattato in ntfs, puo' darsi che
ci sia questa enorme differenza tra il modulo ntfs del kernel 2.4 e il 2.6?
grazie a tutti per l'attenzione

 una buona statistica, diciamo dell'ordine di 10 almeno.
eheh lo so sapevo che tanto non c'era altro modo :-)
beh, per il momento il bimbo e' intento a processare 500Gb, ne riparleremo
tra una ventina di ore, se interessa il newsgroup posto i risultati

 eheh lo so sapevo che tanto non c'era altro modo :-)
Sono mesi che dico che il 2.6 non è ancora all'altezza del 2.4 !!!!!
controlla bene se ci sono conflitti con l'USB...
Poi non usare il 2.6.8, usa l'ultimo.
Ti puttanate ne hanno corrette (e fatte altrettante) nel corso del tempo.
Max

 usa l'ultimo.
L'usb non entra in causa (il lacie e' firewire), pero' un cat
/proc/interrupts potrei anche farlo
il 2.6.8 e' l'ultimo per la sarge, mi sa che ricompilero' il 2.6.12
grazie

 il 2.6.8 e' l'ultimo per la sarge
Da unstable puoi scaricare il kernel-source del 2.6.11
-- 
Chaos A.D.		|	Raging crowd
Tanks on the streets	|	Burning cars
Confronting police	|	Bloodshed starts
Bleeding the Plebs	|	Who'll be alive?

 
Il problema secondo me e' un altro, un conto e' avere un kernel compilato
per il proprio processore, ma i rimanenti programmi no, un conto e' avere
kernel e programmi ricompilati da zero per il proprio processore, la
differenza e' notevole. 
E' per caso cosi'? 
Ciao
Max
-- 
Your sister swims out to meet troop ships.

 il 2.6.8 e' l'ultimo per la sarge, mi sa che ricompilero' il 2.6.12
Non so' il 2.6.8 "precompilato" di Debian , ma ai tempi il vanilla 2.6.8 fu'
un disastro , passa al 2.6.12.2 vanilla compilato a manina e poi rifai la
verifica ..
-- 
http://distrowatch.com
Dott.Rossi .. la forza !!!!!

 E' per caso cosi'? 
No.
Max

 Vediamo i numeri, il collo di bottiglia e poi ne riparliamo.
Domani il processo finira', introduco i conteggi e vi faccio sapere.
In ogni caso qualcosa *nel* kernel in combinazione con *quell'hardware* ha
a che fare con il problema
ciao

 verifica ..
sara' un altra delle prove da fare

 Da unstable puoi scaricare il kernel-source del 2.6.11
no no, prova i vanilla, poi ti fai il deb con make-kpkg del pacchetto
debian package.
I kernel debian sono patchati per rimuovere porzioni di codice di dubbia
licenza. Peccato che alcune volte quel codice serva... Insomma, non si
sa mai.

 sa mai.
Quoto! a me' per esempio se provavo a ricompilare quelli di Debian spariva
il modulo tg3 (la mia eth0 integrata nella MB) misteri ..


 sa mai.
Beh, non sono mica patchati solo per rimuovere porzioni di codice ecc
ecc.
A quel punto, preferisco prendere i kernel di gentoo.


 il modulo tg3 (la mia eth0 integrata nella MB) misteri ..
Riquoto, sul prolian la scheda di rete usa il tg3, sul 2.6.8 c'e', sul
2.6.11 (sempre debian) no
Questo non vuol dire che l'unica differenza dei kernel debian sia la
mancanza di alcune parti dubbie, di solito ci sono anche piu' e piu' patch
di sicurezza.

 A quel punto, preferisco prendere i kernel di gentoo.
GH!
mi hai sgamato!!
io prendo il vanilla, ci applico le mie patch di default, sbircio su gentoo
per patch aggiuntive (tipo sicurezza) e debianizzo :P
Max

 li inventi...
ho alcuni risultati.
sembra che il crollo di prestazioni si principalmente nell'accesso al
disco firewire.
Il mio programma all'avvio fa una scansione del disco per
elencare le directory presenti, ed in ogni directory cerca i file tiff e
ne calcola la dimensione totale (quindi invoca una stat su ogni file)
con il 2.6 il calcolo delll'occupazione dei tiff in ogni singola
directory impiega circa 3.5s contro il secondo molto scarso del 2.4
Ancora devo capire se il problema sta nel sistema firewire, nel driver
ntfs o in qualche combinazione dell'hardware (chipset?)
lunedi altre investigazioni (avete idee su dove concentrare le ricerche?)
byez

 ntfs o in qualche combinazione dell'hardware (chipset?)
a naso io andrei a cercare sull'hw, il modulo ntfs a quanto so è 
abbastanza statico, nel senso che quello tradizionale in sola lettura 
dovrebbe essere lo stesso anche per il 2.4 mi sorge solo un dubbio, come 
se lo gestisce il kernel il pci-x? potrebbe essere quella la causa del 
problema
Luca

 problema
anche io stavo pensando a quello, penso che cmq la gestione del bus
rientri sotto la sfera di influenza del driver del chipset giusto?

 di sicurezza.
Questo però non gioca a favore di Debian. Ma l'unica distribuzione che
usa un kernel vanilla senza patch o rimozioni è solo Slackware?
Henryx

 usa un kernel vanilla senza patch o rimozioni è solo Slackware?
Quasi ... mi pare anche archlinux e qualche altra ...
comunque io uso sempre il vanilla con qualsiasi distro ..
-- 
http://distrowatch.com
 se sei curioso ..
Dottor Rossi .. l'italiano volante !