Fatti:
A. Il 3 febbraio 1974 è deceduto D._. Suoi eredi sono i figli A._, B._ e C._. Nell'ambito della procedura di divisione si è tenuta il 19 febbraio 2001 una riunione innanzi al notaio divisore in cui questi ha verbalizzato al punto 2 che "le parti sono concordi nel riconoscere come valori al momento dell'apertura della successione per la part. 592 RF di Y._ Fr. 1'390'000.--, mentre per le particelle no. 1158/1142 RF di Y._ Fr. 1'340'000.--". Tutti gli eredi hanno contestato innanzi al Pretore della giurisdizione di Mendrisio Sud l'inventario successorio chiuso dal notaio divisore il 22 novembre 2002.
Con sentenza del 16 marzo 2007 il Pretore ha modificato l'inventario: egli ha segnatamente stabilito che il credito della successione verso A._, derivante dalla donazione delle particelle n. 1142 e 1158 RFD di Y._, "deve essere collazionato per complessivi fr. 1'340'000.--". Il giudice di prime cure non ha però incluso nell'inventario un credito di fr. 103'230.-- fatto valere da A._ per prestazioni svolte nell'interesse della successione, ma vi ha inserito una pretesa di fr. 97'783.-- di quest'ultima nei confronti di tale erede, importo pari alla differenza fra quanto depositato su un conto denominato "Siamese" il 4 marzo 1974 e quanto successivamente distribuito fra gli eredi.
B. Con sentenza 21 novembre 2008 la I Camera civile del Tribunale di appello del Cantone Ticino ha parzialmente accolto gli appelli (principale) di A._ e (adesivo) di B._, ma ha lasciato invariato il predetto obbligo di collazione, non ha incluso la pretesa per prestazioni svolte da A._ e non ha tolto il credito di fr. 97'783.-- accertato nei confronti di quest'ultimo. I giudici cantonali hanno ritenuto che gli eredi si erano accordati innanzi al notaio divisore di riconoscere il valore di fr. 1'340'000.-- per le 2 summenzionate particelle, che A._ non aveva dimostrato la congruità della rimunerazione domandata e che i motivi addotti per spiegare la differenza fra il saldo del conto "Siamese" e l'importo spartito non solo costituivano degli inammissibili nova, ma non erano nemmeno stati resi verosimili.
C. Con ricorso in materia civile del 12 gennaio 2009 A._ chiede che la sentenza cantonale sia modificata nel senso che il credito della successione verso di lui sia collazionato per fr. 770'125.--, che non sia accertato un credito nei suoi confronti di fr. 97'783.-- e che nell'inventario venga inserito a suo favore un debito della successione di fr. 99'000.--. Afferma che dagli atti non risulta alcun accordo sul valore per la collazione dei fondi n. 1142 e 1158 RFD di Y._. Sostiene poi che i giudici cantonali hanno violato gli art. 8 CC e 394 CO non riconoscendogli alcunché per le prestazioni svolte nell'interesse dell'eredità e che essi hanno effettuato un accertamento manifestamente inesatto con riferimento a quanto depositato sul conto "Siamese".
Non è stato ordinato uno scambio di scritti.
Diritto:
1. Il rimedio è diretto contro una sentenza pronunciata in una procedura di divisione di una successione e il valore di lite è manifestamente superiore ai fr. 30'000.-- previsti dall'art. 74 cpv. 1 lett. b LTF. Il tempestivo (art. 46 cpv. 1 lett. c in relazione con l'art. 100 cpv. 1 LTF) ricorso in materia civile (art. 72 cpv. 1 LTF) è quindi in linea di principio ammissibile.
2. 2.1 Il Tribunale federale fonda la propria sentenza sui fatti accertati dall'autorità inferiore (art. 105 cpv. 1 LTF). L'accertamento dei fatti può essere censurato unicamente se è stato svolto in violazione del diritto ai sensi dell'art. 95 LTF oppure in maniera manifestamente inesatta (art. 97 cpv. 1 LTF); quest'ultima definizione corrisponde a quella di arbitrio vigente sotto l'egida dell'abrogata legge sull'organizzazione giudiziaria (art. 90 cpv. 1 lett. b OG; DTF 133 II 249 consid. 1.2.2 pag. 252) e configura a sua volta una violazione del diritto (art. 9 Cost.; DTF 134 IV 36 consid. 1.4.1 pag. 39). Poiché il divieto d'arbitrio rientra fra i diritti fondamentali, la censura relativa ad una sua violazione va espressamente sollevata e motivata in termini qualificati (art. 106 cpv. 2 LTF; in proposito, v. consid. 2.2). Inoltre, la censura di arbitrio nell'accertamento dei fatti è ammissibile unicamente qualora l'eliminazione del vizio possa essere determinante per l'esito del procedimento (art. 97 cpv. 1 LTF), ciò che il ricorrente deve puntualmente allegare e dimostrare.
2.2 In applicazione dell'art. 106 cpv. 2 LTF, il Tribunale federale esamina la pretesa violazione di diritti fondamentali soltanto se tale censura è stata espressamente invocata e motivata dal ricorrente. Come già sotto l'egida dell'art. 90 cpv. 1 lett. b OG, le cui esigenze restano determinanti per le censure sottoposte al principio dell'allegazione secondo l'art. 106 cpv. 2 LTF (DTF 134 II 244 consid. 2.2; 133 III 638 consid. 2 pag. 639), il ricorrente che lamenta una violazione del divieto d'arbitrio non può limitarsi a criticare la decisione impugnata come in una procedura d'appello, dove l'autorità di ricorso gode di cognizione libera, opponendo semplicemente la propria opinione a quella dell'autorità cantonale (DTF 133 III 585 consid. 4.1 pag. 589; 130 I 258 consid. 1.3 pag. 262), bensì deve dimostrare, attraverso un'argomentazione precisa, che la decisione impugnata si fonda su un'applicazione della legge od un apprezzamento delle prove manifestamente insostenibile (DTF 134 II 349 consid. 3; 133 III 638 consid. 2 pag. 639; 133 IV 286 consid. 1.4). Non basta, in particolare, che il ricorrente affermi l'arbitrarietà della decisione impugnata adducendo considerazioni generiche (DTF 133 III 589 consid. 2 pag. 591 seg.; 125 I 492 consid. 1b). Il mancato rispetto di queste esigenze di motivazione conduce all'inammissibilità della censura (DTF 133 III 589 consid. 2 pag. 591 seg.).
3. 3.1 La Corte cantonale ha dapprima ricordato che giusta l'art. 630 cpv. 1 CC la collazione si fa in base al valore delle liberalità al momento dell'apertura della successione. Essa ha poi accertato, basandosi sulla cifra 2 del verbale allestito dal notaio divisore, che il 19 febbraio 2001 gli eredi hanno convenuto di fissare il predetto valore per le particelle n. 1158 e 1142 RFD di Y._ in complessivi fr. 1'340'000.--. I giudici cantonali hanno indicato che, sebbene tale valore fosse fondato su una relazione tecnica del 1981 e non si riferisse alla data di decesso del de cuius, nulla impediva agli eredi di accordarsi sui valori da attribuire ai beni della successione, evitando in tal modo di dover far allestire una perizia.
3.2 Secondo il ricorrente, i giudici cantonali avrebbero violato gli art. 1 e 18 CO, perché dal verbale allestito dal notaio divisore non risulterebbe una manifestazione concorde e reciproca della volontà delle parti. Sostiene che qualora gli eredi avessero voluto concludere "un contratto successorio", questo sarebbe stato redatto in altro modo. Afferma che il punto 2 "fa corpo" con il punto 3 del verbale, da cui risulta la sua proposta, respinta dai fratelli, di collazionare in natura anche la sua parte del mappale n. 592. Del resto sia il suo patrocinatore, sia un fratello hanno successivamente rimesso in discussione la valutazione dei citati fondi. Infine, negli allegati di causa, nemmeno l'altro fratello si sarebbe basato sul verbale in questione per giustificare l'obbligo di collazionare l'importo di fr. 1'340'000.--.
3.3 In concreto, il ricorrente non sostiene che la Corte cantonale avrebbe dovuto procedere ad un'interpretazione soggettiva della volontà delle parti, ma ritiene che l'interpretazione oggettiva data al predetto verbale sia errata.
3.3.1 Con riferimento all'interpretazione di dichiarazioni scritte è opportuno rammentare che, anche se il tenore di una clausola contrattuale appare a prima vista chiaro, dalle altre condizioni menzionate dal documento, dallo scopo perseguito dalle parti oppure ancora da altre circostanze può risultare che il testo della clausola non restituisce con esattezza il senso dell'accordo (DTF 131 III 606 consid. 4.2). In questo caso, il senso della pattuizione verrà determinato mediante interpretazione. Non ci si scosterà, per contro, dal testo adottato dagli interessati, qualora non vi sia nessun serio motivo di ritenere ch'esso non corrisponda alla loro volontà (DTF 130 III 417 consid. 3.2 pag. 425).
3.3.2 Ora, dal tenore letterale del verbale risulta espressamente che gli eredi erano "concordi nel riconoscere come valori al momento dell'apertura della successione .... per le particelle no. 1158/1142 RF di Y._ Fr. 1'340'000.--". Da una lettura del verbale non risulta invece che il consenso del ricorrente al riconoscimento di tale importo fosse sottoposto alla condizione che i coeredi accettassero la sua proposta - che invece hanno respinto - di collazionare anche un altro mappale già diviso fra le parti. Non bisogna del resto dimenticare che il documento in discussione è stato redatto da un pubblico notaio nell'ambito di una riunione in cui le parti erano assistite dai propri legali: già tale circostanza giustifica una rigorosa interpretazione letterale (DTF 131 III 606 consid. 4.2). Contrariamente a quanto ritenuto dal ricorrente non si tratta nemmeno di stabilire se sia stato stipulato "un contratto successorio", ma occorre semplicemente determinare se gli eredi hanno concordato il valore di imputazione di una liberalità dispensata in vita dal de cuius. Giova rilevare che accordarsi nel 2001 - e cioè 27 anni dopo la morte del padre delle parti - su un valore stabilito in una relazione tecnica del 1981 - e quindi in un'epoca relativamente vicina (7 anni) all'apertura della successione - non appare privo di senso, atteso segnatamente che in questo modo, come rilevato dai giudici cantonali, non è stato necessario allestire una nuova perizia. Infine, nemmeno gli altri elementi descritti nel gravame, di non agevole comprensione, sono idonei a giustificare l'interpretazione data dal ricorrente al verbale: anzi, indicando che il suo precedente legale avrebbe comunicato il 30 aprile 2001 al notaio "di riprendersi l'intera libertà di valutazione specie per la valutazione della collazione al momento dell'aperta successione", lo stesso ricorrente sottintende che tale "libertà" era stata ceduta. In altre parole egli riconosce di essersi in precedenza vincolato. La censura, manifestamente infondata, deve pertanto essere respinta.
4. 4.1 Con riferimento all'importo di fr. 103'230.--, che secondo il ricorrente va inserito nell'inventario quale debito della successione nei suoi confronti, la Corte cantonale ha constatato che nel febbraio 1974 egli aveva ricevuto dalla madre e dai fratelli una procura generale per le pratiche concernenti il de cuius, ma che egli ha omesso di indicare come è giunto al montante richiesto. I giudici cantonali hanno reputato che al mandatario incombe di non solo provare l'esistenza del mandato, ma anche la congruità della pretesa e che in assenza di ogni elemento che permetta di valutare l'attività del qui ricorrente, non si giustificava concedergli alcunché. Essi hanno segnatamente rilevato che la nota 11 novembre 2002, trasmessa al notaio divisore, contiene unicamente delle indicazioni generiche sull'opera svolta, senza però dare alcun ragguaglio sul dispendio orario.
4.2 Nella sede federale il ricorrente ha ridotto la sua pretesa di fr. 4'230.--, importo concernente tasse di allacciamento alla fognatura di un fondo escluso dalla successione. Egli lamenta una violazione degli art. 8 CC e 394 CO, perché i coeredi non hanno mai contestato che egli abbia svolto le prestazioni indicate nella sua nota d'onorario, che hanno avuto un esito positivo. Assevera che sarebbe manifestamente iniquo negargli qualsiasi retribuzione, atteso segnatamente che la predetta nota permetterebbe ai giudici cantonali di stabilire una rimunerazione ad valorem.
4.3 Con la propria argomentazione il ricorrente pare dimenticare che la Corte cantonale non ha negato che il mandato sia stato eseguito né che fosse oneroso. Ora, in virtù del diritto federale quando non è stata pattuita una mercede, l'onorario giusta l'art. 394 cpv. 3 CO deve corrispondere in modo oggettivo alle prestazioni effettuate (DTF 117 II 282 consid. 4c). Come constatato dalla Corte cantonale, dalla nota prodotta dal ricorrente non emerge tuttavia in nessun modo il tempo consacrato all'espletamento del mandato, né il ricorrente afferma di aver fornito tale informazione in altro modo. Quest'ultimo lamenta invero una violazione dell'art. 8 CC, ma nemmeno indica (art. 42 cpv. 2 LTF) se ritiene violata tale norma perché l'onere di provare la congruità della pretesa è stato posto a suo carico, invece che a carico degli opponenti. Sia come sia, nella fattispecie appare impossibile stabilire una mercede che corrisponde oggettivamente al lavoro svolto. Infatti, contrariamente a quanto sostenuto nel gravame, la mera conoscenza del - preteso - risultato economico derivante dall'oggetto del mandato è a tal fine insufficiente. Ne segue che pure questa censura, nella misura in cui risulta ammissibile, si appalesa infondata.
5. 5.1 Infine, il Pretore aveva accolto, limitatamente a fr. 97'783.-- oltre interessi dal 4 marzo 1974 al 30 giugno 2006, la richiesta di uno dei qui opponenti di inserire nell'inventario un credito della successione nei confronti del qui ricorrente, sgorgante da un conto denominato "Siamese". In base agli accertamenti della Corte d'appello il qui ricorrente gestiva l'eredità e dagli atti risulta che il 4 marzo 1974 sul predetto conto erano depositati fr. 702'217.--, ma che agli eredi erano unicamente stati distribuiti fr. 604'434.--, e cioè fr. 201'478.-- ciascuno. I giudici cantonali hanno poi ritenuto che i motivi citati per giustificare la differenza di fr. 97'783.-- non solo sono inammissibili perché addotti per la prima volta in appello, ma non sono neppure verosimili: il ricorrente non ha nemmeno spiegato perché dalla proposta di divisione da lui allestita con il figlio ed inviata al - primo - notaio divisore risulterebbe che gli eredi si sarebbero invece spartiti fr. 702'217.--. La Corte cantonale ha altresì respinto la richiesta del qui ricorrente di far decorrere gli interessi dal 15 gennaio 2002, data della messa in mora, perché non trattasi di interessi moratori, ma di quelli maturati sull'importo rimasto indiviso.
5.2 Il ricorrente sostiene che dal documento citato nella sentenza impugnata risulta che il 4 marzo 1974 sul menzionato conto vi erano fr. 63.29 e 8285 parti di un fondo della banca con un corso di fr. 84.75 per un valore di fr. 702'153.75. Egli indica poi che la differenza fra quanto spartito fra gli eredi nel 1977 e il valore indicato il 4 marzo 1974 è dovuta ad un minor valore delle parti del fondo al momento in cui queste sono state vendute, circostanza del resto riconosciuta dal notaio divisore. Afferma che non sarebbe nemmeno esatto che egli avrebbe spiegato tali circostanze per la prima volta in appello, atteso che il notaio divisore le aveva recepite. Ritiene che sarebbe spettato al fratello dimostrare che quanto distribuito non corrispondeva all'intero ricavo della vendita dei titoli. Atteso inoltre che la ripartizione è avvenuta nel settembre 1977, non sarebbe nemmeno giustificato far decorrere gli interessi dalla data di apertura della successione. Pure il vice-direttore della banca che ha seguito l'iter della successione ha deposto che il ricorrente non ha fatto operazioni a suo vantaggio; il precedente legale dell'altro fratello aveva inoltre affermato, dopo aver visto i documenti relativi ai conti bancari con le operazioni eseguite, "che per lui tutto era a posto".
5.3 Occorre innanzi tutto rilevare che il ricorrente non contesta di essersi occupato della gestione del conto "Siamese", né che da esso sono stati distribuiti unicamente fr. 604'434.--. È esatto che, come indicato nel ricorso, tale conto era in stragrande maggioranza composto di parti di un fondo d'investimento. Il ricorrente non indica tuttavia a quale prezzo né quando esattamente ha venduto tali parti e tanto meno da quali documenti agli atti risulterebbe che l'importo effettivamente versato ai fratelli corrisponda al prodotto della loro realizzazione. Nemmeno il tempo trascorso è di soccorso al ricorrente: tali operazioni sono state svolte per una successione che non è ancora divisa, motivo per cui egli non poteva ritenere definitivamente conclusa la liquidazione del conto in discussione e semplicemente sbarazzarsi dei documenti giustificativi. Poiché giustifica la distribuzione effettivamente effettuata prevalendosi di un minor valore delle quote del fondo al momento in cui sono state realizzate, incombeva al ricorrente dimostrare di quanto esse si sarebbero svalutate. Egli non solo omette tale dimostrazione, ma anche nella sede federale non spiega perché nella proposta di divisione da lui allestita - con il figlio - ed inviata al primo notaio divisore aveva indicato che gli eredi si sarebbero invece già spartiti fr. 702'153.--. Ora, questo documento depone invece per il fatto che il corso dei fondi non sarebbe sceso fra la primavera 1974 e il momento della spartizione. Ne segue che la constatazione della Corte cantonale, secondo cui non sarebbe stato distribuito l'intero valore del conto non appare manifestamente inesatta. Così stando le cose, risulta pure corretto far decorrere gli interessi a partire dall'apertura della successione sulla frazione non distribuita: in caso contrario la successione sarebbe infatti privata degli interessi di tale importo, che le appartiene.
6. Da quanto precede discende che il ricorso si rivela, nella misura in cui risulta ammissibile, infondato e come tale va respinto. Le spese giudiziarie seguono la soccombenza (art. 66 cpv. 1 LTF), mentre non si giustifica assegnare ripetibili agli opponenti, che non sono stati invitati a presentare una risposta.
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 8'000.-- sono poste a carico del ricorrente.
3. Comunicazione alle parti e alla I Camera civile del Tribunale d'appello del Cantone Ticino.