Fatti: A. Dal matrimonio di F._ ed E._, cittadini germanici, sono nati B._ e A._. Nel 1977 B._ ha stipulato con i genitori un contratto di rinuncia ereditaria. Dopo la morte della moglie, con testamento pubblico dell'11 agosto 1993, F._ ha istituito erede universale il figlio A._ e destinato una somma di denaro al figlio B._. Il 18 luglio 2000 F._ e B._ hanno convenuto di annullare la citata rinuncia d'eredità e il giorno seguente F._ ha annullato, con un nuovo testamento pubblico, quello precedente del 1993, ha suddiviso a metà fra i due figli tutti i suoi beni, con obbligo di collazione delle liberalità ricevute per A._, e nominato il notaio rogante avv. C._ suo esecutore testamentario. Il 9 febbraio 2001 F._ ha donato al figlio B._ la sua quota di comproprietà di un appartamento sito a X._, senza obbligo di collazione. F._ è deceduto a X._ (Canton Ticino), suo ultimo domicilio, nel marzo 2001. B. B.a Con petizione 13 dicembre 2001, A._ ha convenuto in giudizio davanti al Pretore della giurisdizione di Locarno Campagna sia B._ sia l'esecutore testamentario, chiedendo che fossero invalidati - per vizio di forma - l'annullamento della rinuncia ereditaria, la menzionata donazione, nonché il testamento pubblico del 19 luglio 2000 nella misura in cui il fratello veniva istituito erede ed il notaio designato esecutore testamentario. In via subordinata, ha chiesto la riduzione della quota ereditaria spettante al fratello, l'annullamento della donazione e delle disposizioni testamentarie che concernono quest'ultimo, nonché la restituzione delle liberalità ricevute. Tale causa, in fase istruttoria, è oggi sospesa. B.b Nell'ambito della procedura penale avviata dal notaio C._ nei confronti del patrocinatore di A._, quest'ultimo avvocato ha prodotto un parere allestito il 29 gennaio 2003 dal dott. G._, specialista in medicina interna e geriatria, sulle condizioni mentali di F._. B.c L'11 novembre 2003 A._ ha nuovamente convenuto in giudizio B._ e l'esecutore testamentario, chiedendo che l'annullamento della rinuncia ereditaria fosse invalidato a causa dell'incapacità di discernimento di F._ e che per il medesimo motivo fosse pure annullato sia l'ultimo testamento pubblico che la nota donazione. Ha altresì domandato che B._ venisse obbligato a restituire quanto già ricevuto. Dopo aver limitato l'udienza preliminare all'esame delle questioni d'ordine (25 marzo 2004), aver assunto agli atti il fascicolo della causa promossa il 13 dicembre 2001 e aver proceduto al dibattimento finale (23 maggio 2004), con sentenza 9 settembre 2004 il Pretore della giurisdizione di Locarno Campagna ha dichiarato l'azione perenta e ha respinto la petizione dell'11 novembre 2003. B.d In accoglimento dell'appello presentato da A._ contro tale giudizio, il 13 marzo 2006 la I Camera civile del Tribunale d'appello del Cantone Ticino ha giudicato l'azione non perenta e ritornato gli atti al Pretore per la continuazione della causa. Adito con un ricorso per riforma e con un ricorso di diritto pubblico da B._, in data 19 ottobre 2006 il Tribunale federale ha dichiarato gli stessi inammissibili (incarti 5C.117/2006 e 5P.185/2006). B.e Statuendo il 15 aprile 2008, il Pretore ha nuovamente respinto la petizione, poiché l'attore non aveva dimostrato che il defunto padre fosse incapace di discernimento al momento di annullare la rinuncia ereditaria, di disporre per testamento e di compiere la donazione. C. Con sentenza 11 novembre 2011, la I Camera civile del Tribunale d'appello del Cantone Ticino, ha respinto, nella misura in cui fosse ricevibile, l'appello introdotto da A._ contro tale giudizio. D. Il 9 gennaio 2012, A._ ha quindi impugnato la sentenza cantonale davanti al Tribunale federale sia con un ricorso in materia civile che con un ricorso sussidiario in materia costituzionale. Udite le parti, con decreto presidenziale del 30 gennaio 2012, al ricorso in materia civile è stato conferito l'effetto sospensivo. L'istanza relativa alla prestazione di garanzie formulata dall'opponente B._ è stata per contro respinta. Non è stato ordinato nessun ulteriore scambio di scritti.