Fatti:
A. A.a A.A._ e B.A._ sono due dei tre figli di fu C.A._ e fu D.A._. La madre è deceduta nel marzo del 1997, il padre nel luglio 1998.
A.b In data 9 agosto 1999, B.A._ ha promosso azione di riduzione ereditaria avanti al Pretore di Bellinzona contro il fratello A.A._ e la sorella E.A._, salvo ritirare l'azione contro quest'ultima in sede di memoriale conclusivo. Ha invece chiesto di condannare il fratello A.A._ a versargli l'importo di fr. 1'100'469.--, oltre interessi, in reintegra della sua spettanza nelle successioni dei genitori. In parziale accoglimento della petizione, il Pretore ha condannato A.A._ a versare all'attore fr. 531'550.45, oltre a interessi al 5 % a decorrere dal 9 agosto 1999, ponendo tassa e spese di giustizia a carico delle parti in ragione di metà ciascuna, ripetibili compensate.
B. A.A._ ha dedotto in appello il giudizio pretorile in data 5 gennaio 2006. Il Tribunale di appello, con la sentenza 1° aprile 2008 qui impugnata, ha respinto il gravame in quanto ricevibile, con conseguenza di tassa e spese a carico dell'appellante soccombente.
C. A.A._ impugna la menzionata sentenza avanti al Tribunale federale con ricorso sussidiario in materia costituzionale. Con decreto 2 giugno 2008 è stata respinta l'istanza di conferimento dell'effetto sospensivo al gravame.
Non sono state chieste osservazioni nel merito.
Diritto:
1. 1.1 Il Tribunale federale si pronuncia d'ufficio e con pieno potere d'esame sulla propria competenza e sull'ammissibilità del rimedio esperito (art. 29 cpv. 1 LTF; DTF 134 III 115 consid. 1).
1.2 La decisione impugnata è stata pronunciata in materia civile (art. 72 cpv. 1 LTF) dall'autorità giudiziaria cantonale di ultima istanza (art. 75 cpv. 1 LTF) in una causa di carattere pecuniario (DTF 115 II 211) il cui valore di lite raggiunge la soglia di fr. 30'000.-- prevista all'art. 74 cpv. 1 lett. b LTF. Al ricorrente era dunque aperta la via del ricorso ordinario in materia civile, non facendovi nemmeno ostacolo la natura delle censure sollevate: diversamente da quanto accadeva con il ricorso di diritto pubblico scaturente dal vecchio OG, la censura dell'avvenuta violazione di diritti fondamentali cade sotto il titolo, più ampio, di violazione del diritto svizzero ai sensi dell'art. 95 lett. a LTF e può dunque essere proposta nel quadro del ricorso in materia civile (DTF 133 I 201 consid. 1).
Aperta la via del ricorso in materia civile, il rimedio del ricorso sussidiario in materia costituzionale diviene inammissibile (art. 113 LTF; DTF 134 III 379 consid. 1.2).
1.3 La più recente giurisprudenza parte invero dal presupposto che la denominazione errata di un ricorso non debba nuocere al ricorrente, ed ammette di conseguenza - seppur con qualche riserva qualora il ricorrente sia assistito da un avvocato (DTF 120 II 270 consid. 2; sentenza 5D_75/2007 del 6 giugno 2008 consid. 1.2) - la conversione del rimedio inoltrato in quello effettivamente aperto (DTF 134 III 379 consid. 1.2). Il gravame presentato deve tuttavia soddisfare le condizioni di ammissibilità di quest'ultimo (DTF cit., con rinvio a DTF 131 I 291 consid. 1.3) e deve poter essere convertito nella sua integralità: in particolare, tutte le censure sollevate devono poter essere esaminate con il rimedio disponibile (DTF cit., con rinvio a DTF 131 III 268 consid. 6). Tenuto conto del principio di applicazione d'ufficio del diritto (art. 106 cpv. 1 LTF), la censura di applicazione arbitraria del diritto federale, come tale inammissibile nell'ambito di un ricorso in materia civile, potrebbe essere convertita in quella di errata applicazione del diritto federale ed essere pertanto esaminata, indipendentemente dalla motivazione inconferente addotta dal ricorrente (DTF 134 III 379 consid. 1.2 in fine).
1.4 Nel presente caso, si può prescindere da una conversione, atteso che il gravame si appalesa inammissibile per i motivi esposti qui di seguito (sentenza 4D_13/2008 del 2 aprile 2008 consid. 1.3 e 2).
2. 2.1 Fra le condizioni di ammissibilità di un ricorso al Tribunale federale vi è quella della formulazione di adeguate conclusioni (art. 42 cpv. 1 LTF). I rimedi del nuovo diritto sono di principio rimedi a carattere riformatorio: ciò vale non solo per il ricorso in materia civile (art. 107 cpv. 2 LTF), bensì anche per il ricorso sussidiario in materia costituzionale (art. 117 e 107 cpv. 2 LTF combinati) - diversamente da quanto avveniva per il ricorso di diritto pubblico dell'OG (DTF 129 I 129 consid. 1.2.1; sentenza 4D_48/2007 del 13 novembre 2007 consid. 1.1). La giurisprudenza ha avuto modo di rammentare che per il ricorso ordinario in materia civile, come già era il caso per il ricorso per riforma ed il ricorso LEF sotto l'egida dell'OG (art. 55 cpv. 1 lett. b rispettivamente 79 cpv. 1), le conclusioni (riformatorie) che riguardano la prestazione di una somma di denaro devono tassativamente essere cifrate (DTF 134 III 235 consid. 2); non vi è ragione di non formulare la medesima esigenza per il ricorso sussidiario in materia costituzionale. Eccezionalmente, per entrambi i ricorsi basta una conclusione cassatoria (domanda di annullamento della decisione impugnata, rispettivamente di rinvio della causa all'autorità inferiore per nuovo giudizio) qualora il Tribunale federale, dovesse accogliere il ricorso, non sarebbe comunque in grado di statuire nel merito per mancanza di accertamenti fattuali sufficienti, ma dovrebbe invece comunque rinviare la causa per nuovi accertamenti (DTF 134 III 379 consid. 1.3; 133 III 489 consid. 3.1).
2.2 Nel caso di specie, è pacifico che il ricorrente si limita a chiedere l'annullamento della sentenza querelata ed il rinvio degli atti alla I Camera civile del Tribunale di appello del Cantone Ticino per nuova decisione. Si deve pertanto esaminare se tale conclusione sia, alla luce delle censure sollevate, sufficiente. Ciò sarebbe il caso se, nell'eventualità che una delle censure sollevate nel ricorso dovesse rivelarsi fondata, il Tribunale federale non sarebbe comunque in grado di riformare la sentenza impugnata per lacunoso accertamento dei fatti. A tal fine, vanno esaminate le censure sollevate.
Dopo discussione degli aspetti formali, il ricorso propone una lunga introduzione. Vi vengono esposti i fatti di causa, senza la formulazione di censure.
2.2.1 Segue un capitolo dedicato alle opere d'arte. Il ricorrente vi espone una doppia censura: da un lato, contesta che le opere d'arte ricevute dai convenuti, stimate ad un valore di fr. 69'000.-- per il qui ricorrente e a fr. 127'700.-- per la sorella E.A._, facciano parte dell'asse ereditario; dall'altro, dovendosi ammettere la loro appartenenza all'asse ereditario, l'attore qui opponente avrebbe comunque ottenuto fr. 89'575.-- in eccesso. Come ben si vede, il ricorrente sarebbe stato in grado di formulare conclusioni riformatorie cifrate per entrambe le eventualità, indicando in particolare con precisione di quanto il suo (contestato) obbligo pecuniario nei confronti del fratello avrebbe dovuto essere ridotto per rapporto a quanto stabilito dal Tribunale di appello. Parimenti, il Tribunale federale sarebbe senz'altro stato in grado di riformare corrispondentemente la sentenza impugnata.
2.2.2 Un secondo tema ricorsuale riguarda la vendita dei pacchetti azionari delle tre aziende familiari (F._SA, G._SA e H._SA). Non è il caso di entrare nei dettagli della censura ricorsuale, invero di non facile comprensione; basterà ritenere che il ricorrente considera che le tre ditte avrebbero dovuto essere valutate globalmente, siccome formanti un complesso aziendale unico, e non separatamente, come invece fatto dal Pretore ed avallato dal Tribunale di appello. Relativamente al loro valore, fondamentale per stabilire se esse siano state vendute al ricorrente a prezzo di favore o meno, egli discute - in termini peraltro manifestamente appellatori - la perizia giudiziaria, senza peraltro postulare l'assunzione di nuove prove, e giunge alla conclusione che egli nulla deve per questo titolo all'attore. Ciò significa che il Tribunale federale, fosse stato chiamato a decidere in termini riformatori, accogliendo le censure del ricorrente avrebbe ridotto il suo obbligo di reintegra deducendo l'importo di stima delle aziende familiari. Anche qui, pertanto, il Tribunale federale sarebbe senz'altro stato in grado di riformare la sentenza impugnata.
2.2.3 In terzo ed ultimo luogo, il ricorrente contesta la stima degli immobili alla particella xxx del Comune di Bellinzona, viziata secondo lui dal fatto che non sarebbero stati tenuti in considerazione investimenti per un totale di fr. 1'177'420.05 (ma la tabella che propone menziona un importo di fr. 1'168'320.05, senza spiegazioni circa la differenza). Secondo il ricorrente, l'importo di fr. 1'168'320.05 avrebbe dovuto essere detratto dalla stima. Anche qui il Tribunale federale, invitato a decidere nel merito, avrebbe senz'altro potuto farlo, semplicemente detraendo l'importo asseritamente in eccesso.
2.3 Ne discende, in conclusione, che non si realizza qui il caso eccezionale di ammissibilità di un ricorso in materia civile (rispettivamente ricorso sussidiario in materia costituzionale) sprovvisto di conclusioni riformatorie. La loro mancanza, al contrario, porta inesorabilmente all'inammissibilità del gravame. Si noterà, a titolo puramente abbondanziale, che il ricorso sarebbe stato inammissibile anche a ragione dell'insufficiente motivazione ai sensi dell'art. 42 cpv. 1 e 2 LTF, posto come tutte le censure sollevate siano motivate in termini meramente appellatori.
3. Il ricorso va pertanto respinto in ordine. Le spese giudiziarie, che comprendono la tassa di giustizia (art. 65 cpv. 1 LTF) stabilita in particolare in funzione della difficoltà della causa (art. 65 cpv. 2 LTF), sono a carico del ricorrente soccombente (art. 66 cpv. 1 LTF). Egli dovrà inoltre versare all'opponente ripetibili per la sede federale (art. 68 cpv. 1 LTF). Esse verranno commisurate agli incombenti della sede federale, che non equivalgono all'integralità della risposta, dedicata in buona parte ad una discussione del ricorso nel merito, non richiesta e pertanto non suscettibile di far nascere alcun obbligo risarcitorio.
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è inammissibile.
2. Le spese giudiziarie di fr. 5'000.-- sono poste a carico del ricorrente, che rifonderà all'opponente fr. 2'000.-- per ripetibili della sede federale.
3. Comunicazione ai patrocinatori delle parti e alla I Camera civile del Tribunale d'appello del Cantone Ticino.