Fatti:
A. Dal matrimonio di F._ ed E._, cittadini germanici, sono nati B._ e A._. Nel 1977 B._ ha stipulato con i genitori un contratto di rinuncia ereditaria. Dopo la morte della moglie, con testamento pubblico dell'11 agosto 1993, F._ ha istituito erede universale il figlio A._ e destinato una somma di denaro al figlio B._. Il 18 luglio 2000 F._ e B._ hanno convenuto di annullare la citata rinuncia d'eredità e il giorno seguente F._ ha annullato, con un nuovo testamento pubblico, quello precedente del 1993, ha suddiviso a metà fra i due figli tutti i suoi beni, con obbligo di collazione delle liberalità ricevute per A._, e nominato il notaio rogante avv. C._ suo esecutore testamentario. Il 9 febbraio 2001 F._ ha donato al figlio B._ la sua quota di comproprietà di un appartamento sito a X._, senza obbligo di collazione. F._ è deceduto a X._ (Canton Ticino), suo ultimo domicilio, nel marzo 2001.
B. B.a Con petizione 13 dicembre 2001, A._ ha convenuto in giudizio davanti al Pretore della giurisdizione di Locarno Campagna sia B._ sia l'esecutore testamentario, chiedendo che fossero invalidati - per vizio di forma - l'annullamento della rinuncia ereditaria, la menzionata donazione, nonché il testamento pubblico del 19 luglio 2000 nella misura in cui il fratello veniva istituito erede ed il notaio designato esecutore testamentario. In via subordinata, ha chiesto la riduzione della quota ereditaria spettante al fratello, l'annullamento della donazione e delle disposizioni testamentarie che concernono quest'ultimo, nonché la restituzione delle liberalità ricevute. Tale causa, in fase istruttoria, è oggi sospesa.
B.b Nell'ambito della procedura penale avviata dal notaio C._ nei confronti del patrocinatore di A._, quest'ultimo avvocato ha prodotto un parere allestito il 29 gennaio 2003 dal dott. G._, specialista in medicina interna e geriatria, sulle condizioni mentali di F._.
B.c L'11 novembre 2003 A._ ha nuovamente convenuto in giudizio B._ e l'esecutore testamentario, chiedendo che l'annullamento della rinuncia ereditaria fosse invalidato a causa dell'incapacità di discernimento di F._ e che per il medesimo motivo fosse pure annullato sia l'ultimo testamento pubblico che la nota donazione. Ha altresì domandato che B._ venisse obbligato a restituire quanto già ricevuto.
Dopo aver limitato l'udienza preliminare all'esame delle questioni d'ordine (25 marzo 2004), aver assunto agli atti il fascicolo della causa promossa il 13 dicembre 2001 e aver proceduto al dibattimento finale (23 maggio 2004), con sentenza 9 settembre 2004 il Pretore della giurisdizione di Locarno Campagna ha dichiarato l'azione perenta e ha respinto la petizione dell'11 novembre 2003.
B.d In accoglimento dell'appello presentato da A._ contro tale giudizio, il 13 marzo 2006 la I Camera civile del Tribunale d'appello del Cantone Ticino ha giudicato l'azione non perenta e ritornato gli atti al Pretore per la continuazione della causa. Adito con un ricorso per riforma e con un ricorso di diritto pubblico da B._, in data 19 ottobre 2006 il Tribunale federale ha dichiarato gli stessi inammissibili (incarti 5C.117/2006 e 5P.185/2006).
B.e Statuendo il 15 aprile 2008, il Pretore ha nuovamente respinto la petizione, poiché l'attore non aveva dimostrato che il defunto padre fosse incapace di discernimento al momento di annullare la rinuncia ereditaria, di disporre per testamento e di compiere la donazione.
C. Con sentenza 11 novembre 2011, la I Camera civile del Tribunale d'appello del Cantone Ticino, ha respinto, nella misura in cui fosse ricevibile, l'appello introdotto da A._ contro tale giudizio.
D. Il 9 gennaio 2012, A._ ha quindi impugnato la sentenza cantonale davanti al Tribunale federale sia con un ricorso in materia civile che con un ricorso sussidiario in materia costituzionale.
Udite le parti, con decreto presidenziale del 30 gennaio 2012, al ricorso in materia civile è stato conferito l'effetto sospensivo. L'istanza relativa alla prestazione di garanzie formulata dall'opponente B._ è stata per contro respinta.
Non è stato ordinato nessun ulteriore scambio di scritti.
Diritto:
1. 1.1 La sentenza impugnata è una decisione finale (art. 90 LTF) che è stata emanata dall'ultima istanza cantonale (art. 75 cpv. 1 LTF) in una causa civile (art. 72 cpv. 1 LTF) con un valore di lite manifestamente superiore al limite di fr. 30'000.-- previsto dall'art. 74 cpv. 1 lett. b LTF. Il tempestivo ricorso in materia civile (art. 46 cpv. 1 lett. c in relazione con l'art. 100 cpv. 1 LTF), redatto dalla parte soccombente in sede cantonale (art. 76 cpv. 1 LTF) è quindi in linea di massima ammissibile.
1.2 Dato che tutte le censure sollevate dal ricorrente possono essere trattate nell'ambito dell'esame del ricorso ordinario, il ricorso sussidiario in materia costituzionale inoltrato contemporaneamente al ricorso in materia civile è di conseguenza inammissibile. In effetti, il Tribunale federale giudica i ricorsi in materia costituzionale unicamente laddove non sia ammissibile il ricorso ordinario (art. 113 LTF; sentenza 5A_715/2011 del 31 gennaio 2012 consid. 1.4).
Poiché il ricorrente ha inoltrato ricorso per il tramite di due atti distinti, occorre per altro rilevare che il suo modo di procedere viola l'art. 119 LTF. Chi intende avvalersi contemporaneamente dei due rimedi citati deve infatti presentare una sola e medesima istanza (cpv. 1), la quale viene poi esaminata nell'ambito di una sola e unica procedura, secondo le disposizioni applicabili ai due diversi tipi di ricorso (cpv. 2 e 3).
2. Dinanzi al Tribunale federale il ricorrente si prevale della violazione del diritto federale, anche nella forma dell'apprezzamento giuridico erroneo e di un accertamento incompleto e manifestamente inesatto dei fatti.
2.1 Con il ricorso in materia civile può essere fatta valere la violazione del diritto federale (art. 95 lett. a LTF), che include anche i diritti costituzionali dei cittadini (DTF 133 III 446 consid. 3.1 pag. 447). Salvo che per i casi citati dall'art. 95 LTF, non può invece essere censurata la violazione del diritto cantonale. È però sempre possibile fare valere che l'errata applicazione del diritto cantonale da parte dell'autorità precedente comporti una violazione del diritto federale, segnatamente del divieto d'arbitrio (art. 9 Cost.; DTF 133 III 462 consid. 2.3 pag. 466).
2.2 Il Tribunale federale è tenuto ad applicare d'ufficio il diritto federale (art. 106 cpv. 1 LTF). Non è vincolato né dagli argomenti sollevati nel ricorso né dai motivi addotti dall'autorità inferiore, può accogliere un ricorso per motivi diversi da quelli invocati dalla parte insorgente e respingerlo adottando un'argomentazione differente da quella esposta nel giudizio impugnato (DTF 134 II 235 consid. 4.3.4 pag. 241). Nondimeno, tenuto conto dell'onere di allegazione e motivazione posto dall'art. 42 cpv. 1 e 2 LTF, la cui mancata ottemperanza conduce all'inammissibilità del gravame, il Tribunale federale esamina di regola solo le censure sollevate (DTF 134 III 102 consid. 1.1 pag. 104 seg.). Nell'atto di ricorso occorre pertanto spiegare in modo conciso, riferendosi all'oggetto del litigio, in cosa consiste la violazione del diritto e su quali punti il giudizio contestato viene impugnato (DTF 134 II 244 consid. 2.1 pag. 245 seg.).
Le esigenze di motivazione sono più rigorose quando è fatta valere la violazione di diritti fondamentali. II Tribunale federale esamina queste censure solo se la parte ricorrente le ha debitamente sollevate e motivate, come prescritto dall'art. 106 cpv. 2 LTF (DTF 134 II 244 consid. 2.2 pag. 246). Ne discende che l'allegato ricorsuale deve indicare chiaramente i diritti costituzionali che si pretendono violati, precisando altresì in che consista tale violazione (DTF 134 II 244 consid. 2.2 pag. 246; 133 III 393 consid. 6 pag. 397); critiche appellatorie non sono ammissibili. Non basta segnatamente che il ricorrente affermi l'arbitrarietà della decisione impugnata adducendo considerazioni generiche (DTF 133 III 589 consid. 2 pag. 591 seg.).
2.3 Il Tribunale federale fonda il suo ragionamento giuridico sull'accertamento dei fatti svolto dall'autorità inferiore (art. 105 cpv. 1 LTF); può scostarsene o completarlo solo se è stato svolto in violazione del diritto ai sensi dell'art. 95 LTF o in modo manifestamente inesatto (art. 105 cpv. 2 LTF). L'accertamento dei fatti contenuto nella sentenza impugnata può essere censurato alle stesse condizioni; occorre inoltre che l'eliminazione dell'asserito vizio possa influire in maniera determinante sull'esito della causa (art. 97 cpv. 1 LTF). Tocca alla parte che propone una fattispecie diversa da quella contenuta nella sentenza criticata il compito di esporre in maniera circostanziata il motivo che la induce a ritenere adempiute queste condizioni (art. 97 cpv. 1 LTF; DTF 133 IV 286 consid. 6.2 pag. 288).
Dato che la definizione di "manifestamente inesatto" corrisponde a quella di arbitrario (DTF 133 Il 249 consid. 1.2.2 pag. 252) e configura dunque a sua volta una violazione di un diritto fondamentale (art. 9 Cost.; DTF 134 IV 36 consid. 1.4.1 pag. 39), valgono anche in questo contesto le esigenze di motivazione poste dall'art. 106 cpv. 2 LTF. In particolare, qualora sia lamentata la violazione del divieto d'arbitrio (art. 9 Cost.), non è possibile criticare la decisione impugnata opponendovi semplicemente la propria opinione, come in una procedura d'appello, bensì occorre dimostrare, con un'argomentazione chiara e dettagliata, che essa è manifestamente insostenibile (DTF 134 II 244 consid. 2.2 pag. 246).
2.4 Con particolare riferimento all'apprezzamento delle prove e all'accertamento dei fatti, visto l'ampio potere che esso riconosce in proposito alle autorità cantonali, il Tribunale federale si mostra inoltre prudente: ammette una violazione dell'art. 9 Cost. unicamente qualora il giudice non abbia manifestamente compreso il senso e la portata di un mezzo di prova, se ha omesso di considerare un mezzo di prova pertinente senza serio motivo, infine se, sulla base degli elementi fattuali raccolti, il giudice cantonale ha tratto delle deduzioni insostenibili (DTF 129 I 8 consid. 2.1 pag. 9; 127 I 38 consid. 2a pag. 41 con rinvii). Anche in questo caso, pena l'inammissibilità della censura, spetta al ricorrente dimostrare con precisione, e per ogni accertamento di fatto censurato, in quale modo le prove assunte avrebbero dovuto essere valutate, per quale ragione l'apprezzamento da parte dell'autorità cantonale sia insostenibile e in che misura la violazione invocata sarebbe suscettibile d'avere un'influenza sull'esito della lite (DTF 133 IV 286 consid. 1.4 pag. 287 seg.; 128 I 295 consid. 7a pag. 312; 125 I 492 consid. 1b pag. 495 con rinvii).
2.5 Nella fattispecie, l'impugnativa rispetta solo in parte i requisiti esposti. Nella misura in cui sono disattesi - segnatamente poiché il ricorrente formula critiche manifestamente appellatorie rispettivamente si limita a considerare che le conclusioni tratte nel giudizio impugnato sarebbero a vario titolo illegali, incostituzionali o contrarie al diritto internazionale, senza minimamente motivare queste censure -, il gravame dev'essere dichiarato a priori inammissibile. Sull'ammissibilità delle ulteriori censure, verrà per contro detto contestualmente al loro esame.
3. Controversa è in via principale la capacità di discernimento di F._ il 18 luglio 2000, quando ha annullato convenzionalmente con il figlio B._ la rinuncia ereditaria del 18 marzo 1977; il 19 luglio 2000, quando ha revocato il testamento dell'11 agosto 1993, ha disposto la suddivisione di tutti i suoi beni a metà tra i figli, ha tenuto A._ a collazionare le liberalità ricevute e ha designato l'avv. C._ in qualità di esecutore testamentario; infine il 9 febbraio 2001, quando ha donato ad B._ la quota di un mezzo della proprietà per piani yyy di X._ senza obbligo di collazione.
3.1 Il litigio riveste un carattere internazionale in ragione della nazionalità tedesca del de cuius, F._. In assenza di una convenzione internazionale specifica che tratti la materia in questione, il giudice svizzero applica pertanto la legge federale del 18 dicembre 1987 sul diritto internazionale privato (LDIP, RS 291; DTF 136 III 142 consid. 3.2 pag. 144; 135 III 562 consid. 3.2 pag. 564; 131 III 153 consid. 3 pag. 156).
3.2 Per quanto qui di rilievo, l'art. 86 cpv. 1 LDIP prescrive che per il procedimento successorio e le controversie ereditarie sono competenti le autorità o i tribunali svizzeri dell'ultimo domicilio dell'ereditando. Per l'art. 90 LDIP, salvo nei casi in cui, per testamento o per contratto successorio, lo straniero abbia sottoposto la successione ad uno dei suoi diritti nazionali, la successione di una persona con ultimo domicilio in Svizzera è regolata dal diritto svizzero. Per quanto specificatamente riguarda la capacità di disporre, l'art. 94 LDIP stabilisce infine che una persona può disporre a causa di morte se, al momento della disposizione, ne ha la capacità giusta il diritto del domicilio o della dimora abituale o giusta un suo diritto nazionale.
3.3 Dal giudizio impugnato risulta che F._ è deceduto a X._, suo ultimo domicilio, il 16 marzo 2001. Da esso non emerge che egli abbia sottoposto la successione ad uno dei suoi diritti nazionali e nemmeno che sia finora mai stato fatto valere che la capacità di disporre dovesse essere esaminata alla luce di un diritto che non fosse quello svizzero. Così come le istanze cantonali chiamate per competenza a giudicare la vertenza, anche il Tribunale federale esaminerà quindi la stessa applicando il diritto svizzero. A questo stadio della procedura, la pretesa secondo cui la capacità di disporre dovesse essere esaminata in base ad un diritto diverso da quello svizzero comporterebbe per altro una chiara violazione del principio della buona fede (al riguardo, cfr. analogamente DTF 136 III 174 consid. 5.1.2 pag. 177 seg.; 134 I 20 consid. 4.3.1 pag. 21 seg.; 132 II 485 consid. 4.3 pag. 496 seg.; 130 III 66 consid. 4.3 pag. 75 seg.).
4. 4.1 In virtù dell'art. 519 cpv. 1 n. 1 CC una disposizione a causa di morte può essere giudizialmente annullata, se al momento in cui fu fatta il disponente non aveva la capacità di disporre (art. 519 cpv. 1 n. 1 CC), segnatamente perché privo della capacità di discernimento richiesta dall'art. 467 CC.
4.2 La capacità di discernimento è relativa e dipende dalla complessità dell'atto che dev'essere compiuto (DTF 124 III 5 consid. 4c/bb pag. 16 seg.). Nel caso di adulti, in base all'esperienza generale della vita, essa è di regola presunta (art. 16 CC), motivo per cui spetta alla parte che ne pretende l'inesistenza di provare tale affermazione. Per ovviare alle difficoltà probatorie che incontra la parte che intende prevalersi dell'incapacità di discernimento in un determinato momento del disponente deceduto, la giurisprudenza ha tuttavia previsto una riduzione del grado della prova alla cosiddetta verosimiglianza preponderante (sentenza 5C.32/2004 del 6 ottobre 2004 consid. 3.2.2, che precisa la giurisprudenza anteriore [DTF 124 III 5 consid. 1b pag. 8 seg. e 117 II 231 consid. 2b pag. 234 seg.] a seguito della DTF 130 III 321 [consid. 3.3 pag. 325 seg.]).
Quando invece l'esperienza generale della vita fa presumere con verosimiglianza preponderante, ad esempio nel caso di una persona colpita da infermità mentale dovuta all'età, il contrario, e cioè l'assenza della capacità di discernimento, la presunzione legale dell'art. 16 CC è sovvertita e spetta alla controparte portare la controprova, pure con una verosimiglianza preponderante (sentenza 5A_204/2007 del 16 ottobre 2007 consid. 5.2), che il defunto ha preso le sue disposizioni in un momento di lucidità (sentenza 5C.282/2006 del 2 luglio 2007 consid. 2.2; DTF 124 III 5 consid. 1b pag. 8 seg.).
Tuttavia, l'incapacità di discernimento è presunta solo quando il disponente si trovava, al momento in cui ha redatto le disposizioni in discussione, in uno stato di degrado duraturo delle sue facoltà mentali legato alla malattia o all'età. Essa non è per contro presunta e dev'essere stabilita, in base ad una verosimiglianza preponderante, quando il disponente in età avanzata è toccato nella sua salute fisica, è temporaneamente confuso, soffre solo di assenze a seguito di un attacco cerebrale o, ancora, è confrontato a dei vuoti di memoria dovuti all'età (sentenza 5A_12/2009 del 25 marzo 2009 consid. 2.2 con ulteriori rinvii).
4.3 L'esame della capacità di discernimento di una persona attiene sia all'accertamento dei fatti, sia all'applicazione del diritto federale. Sul piano dei fatti, il giudice di merito accerta sia lo stato mentale di una persona nel periodo determinante che il tipo e la portata di eventuali disturbi: constata in particolare se e in che misura l'interessato era capace di valutare le conseguenze del suo agire e di resistere a tentativi volti ad influenzare la sua volontà. La conclusione che un giudice trae quanto all'applicazione dell'una o dell'altra delle due regole presentate nel precedente considerando 4.2 costituisce per contro una questione di diritto. Chiamato ad esprimersi al riguardo, il Tribunale federale procede pertanto ad un riesame libero (sentenza 5A_204/2007 del 16 ottobre 2007 consid. 5.3 con ulteriori rinvii).
La distinzione fra questioni di fatto e di diritto - non sempre agevole nell'ambito in discussione - ha mantenuto anche sotto la LTF una primordiale importanza sia per quanto concerne le esigenze di motivazione di un ricorso, sia per quanto attiene al potere d'esame del Tribunale federale (precedente consid. 2).
5. Fatto rinvio alle norme e alla giurisprudenza indicati, accertati i fatti e proceduto ad un apprezzamento delle prove addotte, il Tribunale d'appello ritiene che nella fattispecie la capacità di discernimento dovesse essere presunta, che la dimostrazione - nella forma della verosimiglianza preponderante (precedente consid. 4.2) - dell'incapacità di discernimento del de cuius spettasse quindi all'attore e che tale dimostrazione non sia stata in concreto apportata. Di conseguenza, riconosciuta la capacità di discernimento del de cuius nei momenti determinanti (precedente consid. 3), nella misura in cui lo giudica ricevibile, respinge l'appello e conferma integralmente il giudizio del Pretore.
5.1 Riferendosi allo stato mentale del de cuius, i Giudici d'appello elencano dapprima i ricoveri ospedalieri di F._, si esprimono sul referto peritale del dott. G._, nonché sulla deposizione e sui documenti prodotti dal dott. H._.
In merito alle degenze ospedaliere, osservano che nessuna di esse risulta essere stata dovuta a problemi di ordine psichico. Riguardo al referto peritale del dott. G._ - prodotto dal ricorrente a sostegno della demenza di cui sarebbe stato affetto il padre, ma non considerato determinante dal Giudice di prime cure - confermano il giudizio datone dal Pretore, rilevando che lo stesso è stato redatto senza mai conoscere F._ e senza chiedere le cartelle cliniche al medico curante dott. H._. In relazione alla deposizione ed ai documenti prodotti dal dott. H._ sottolineano per contro che quest'ultimo è stato medico di F._ a partire dal 25 gennaio 1995 e fino alla sua morte, che in tale contesto egli lo visitava regolarmente e che, tranne negli ultimi giorni di vita in cui il paziente si trovava in uno stato comatoso, non aveva mai avuto modo di dubitare del fatto che fosse capace di intendere e di volere.
5.2 Esprimendosi sempre sullo stato di salute del de cuius, la Corte cantonale analizza in seguito le deposizioni dei differenti testi e conclude che nemmeno queste sono atte ad attestare, con verosimiglianza preponderante, una sua incapacità d'intendere e di volere nei giorni in questione.
Nel suo giudizio, la Corte si sofferma su una serie di testimonianze dalle quali emerge che F._ è rimasto lucido di mente praticamente fino alla fine e che tale lucidità ha contraddistinto anche la revoca della rinuncia ereditaria del 18 luglio 2000, la sottoscrizione del testamento di data 19 luglio 2000 così come del contratto di donazione del 9 febbraio 2001. Considera d'altra parte l'unica deposizione secondo la quale il de cuius si comportava "come un demente", riconducendola ad un periodo ben preciso, che non coincide con quello qui in discussione, oltre che ai cattivi rapporti intercorsi tra la teste che ha reso tale giudizio e F._.
5.3 Ritenendoli anch'essi non suscettibili di provare, con verosimiglianza preponderante, l'incapacità di discernimento di F._, la sentenza impugnata apprezza poi una serie di altri fatti.
In questo contesto, esamina in primo luogo le affermazioni dell'esecutore testamentario in relazione a quanto riferitogli dal de cuius circa presunte inadempienze del ricorrente nei suoi confronti. Rileva come sia emerso che il legale non disponeva di alcun elemento per dubitare dello stato mentale del testatore e considera che, pur volendo presumere che F._ errasse manifestamente riguardo a tali inadempienze da parte di suo figlio, da tale errore non sarebbe ancora possibile dedurre nessuna incapacità di discernimento.
Considera quindi che la demenza del de cuius non possa essere dedotta nemmeno dai dubbi da lui espressi in merito al fatto che il ricorrente fosse effettivamente suo figlio, dalle sue errate affermazioni riguardo alla tomba di famiglia, dall'avversione mostrata nei confronti del ricorrente medesimo e da circostanze attinenti alle visite da quest'ultimo rese al padre.
5.4 Soffermandosi sulla motivazione addotta a titolo abbondanziale dal Pretore, in relazione all'indicazione inesatta del nome del padre del de cuius sul testamento pubblico del 19 luglio 2000, il Tribunale d'appello osserva infine che il solo sbaglio del nome non indizia un'incapacità di discernimento e che la stessa non può essere nemmeno semplicemente dedotta da un cambio di atteggiamento del de cuius nei confronti del figlio B._.
6. Nella sua impugnativa, il ricorrente si oppone sia alla conclusione in base alla quale la capacità di discernimento dovesse essere in casu presunta (successivi consid. 6.1 e 6.2), sia a quella secondo cui la prova dell'incapacità di discernimento nei momenti determinanti del 18 luglio 2000, del 19 luglio 2000 e del 9 febbraio 2001 non è stata in concreto portata (successivo consid. 7).
6.1 Pronunciandosi in merito al primo aspetto, il ricorrente si richiama semplicemente ai contenuti del referto peritale del dott. G._ rispettivamente ad una descrizione dei fatti che non trova riscontro alcuno nel giudizio impugnato, per poi giungere in modo apodittico a considerare inevitabile la conclusione che l'onere della prova andasse nella fattispecie invertito.
Accompagnata dal richiamo ad una serie di norme (art. 8, 16, 18, 519 cpv. 1 n. 1 CC), ma volta in sostanza esclusivamente a criticare gli accertamenti di fatto e la valutazione delle prove, la predetta critica è pertanto manifestamente inammissibile per difetto di una motivazione qualificata della censura d'arbitrio che solleva e non può essere ulteriormente esaminata (precedente consid. 2.3 seg.).
6.2 Il solo richiamo alla sentenza 5A_294/2009 del 24 dicembre 2009, frammentario e incompleto, e la mancanza di un reale confronto con le argomentazioni della Corte cantonale in merito alla questione dell'onere della prova - richiesto dall'art. 42 cpv. 2 LTF (precedente consid. 2.2) - non permette nel contempo nemmeno di mettere in discussione la conclusione tratta in merito all'onere della prova nel giudizio impugnato, sulla base dei fatti accertati e del pertinente rinvio alle sentenze 5A_12/2009 del 25 marzo 2009 (consid. 2.2.) e 5A_204/2007 del 16 ottobre 2007 (consid. 5.3), già menzionate anche in questa sede e da cui risulta chiaramente che - anche in età avanzata - una persona dev'essere normalmente considerata capace di discernimento.
6.3 Dato che in base al giudizio impugnato, che dev'essere su questo punto confermato, l'onere della prova spettava al ricorrente, occorre nel seguito esaminare le critiche da lui sollevate riguardo alla conclusione secondo cui la prova dell'incapacità di discernimento nei momenti determinanti non è stata in concreto fornita.
7. In relazione a tale aspetto, il ricorrente formula una serie di censure con cui denuncia nuovamente un accertamento arbitrario dei fatti e una valutazione arbitraria delle prove. Ritiene quindi che, sulla base di un accertamento dei fatti e di un apprezzamento delle prove non inficiato d'arbitrio, la Corte cantonale avrebbe dovuto ammettere, con verosimiglianza preponderante, l'incapacità di discernimento del padre ed abbia pertanto violato l'art. 519 cpv. 1 n. 1 CC.
7.1 Sennonché, considerato che un gravame che denuncia l'arbitrio nell'accertamento dei fatti e nell'apprezzamento delle prove non può essere sorretto da argomentazioni con cui il ricorrente contrappone il suo parere a quello dell'autorità giudiziaria, ma necessita di una motivazione da cui emerga in che misura i giudici cantonali non abbiano manifestamente compreso il senso e la portata di un mezzo di prova o abbiano omesso senza una seria ragione di tenere conto di un mezzo di prova importante (DTF 136 III 552 consid. 4.2 pag. 560; 134 V 53 consid. 4.3 pag. 62; 129 I 8 consid. 2.1 pag. 9; 127 I 38 consid. 2a pag. 40 seg.), le critiche mosse dal ricorrente riguardo ai fatti accertati ed al loro apprezzamento sfuggono anch'esse ad un esame di merito.
7.2 Riprendendo le argomentazioni sviluppate dal Tribunale d'appello e diffondendosi lungamente sulle stesse, il ricorrente passa in effetti in rassegna e discute le prove raccolte come se si trovasse davanti a un'istanza d'appello con pieno potere di riesame dei fatti. In sostanza, egli valuta a suo modo le singole prove e oppone la sua versione dei fatti a quella della Corte cantonale, fondandosi su fatti che non emergono dalla sentenza impugnata e omettendo nel contempo di contestare - attraverso un'argomentazione che ne dimostri la manifesta insostenibilità - quelli ch'essa invece accerta, sulla base del grande potere discrezionale che le viene riconosciuto (precedente consid. 2.4), e su cui poi si basa per applicare l'art. 519 cpv. 1 n. 1 CC.
7.3 Quanto osservato vale per tutte le critiche mosse all'accertamento e all'apprezzamento dei fatti che hanno portato la Corte cantonale a concludere che l'incapacità di discernimento non è stata provata, quindi pure per quanto attiene alla perizia commissionata dal ricorrente al dott. G._, sul cui determinante rilievo l'impugnativa insiste a più riprese.
In effetti, anche in relazione a questa prova, le critiche sollevate consistono in sostanza nell'estrapolazione di singoli passaggi del giudizio impugnato e nella contrapposizione agli stessi di stralci di affermazioni contenute in allegati introdotti dalle parti, di documenti agli atti, ecc.: ciò che non permette automaticamente né di sostanziare l'arbitrio degli accertamenti di fatto contenuti nel giudizio impugnato, né di mettere in discussione l'apprezzamento delle prove, che è il risultato di una valutazione complessiva del materiale probatorio, che si estende in casu - tra circostanziate valutazioni e puntuali raffronti - su oltre 14 pagine del giudizio impugnato (precedente consid. 5.4, nel quale le argomentazioni contenute nel giudizio impugnato sono state solo succintamente riassunte).
7.4 Come già ricordato, occorre infatti sottolineare che la parte che propone una fattispecie diversa da quella contenuta nella sentenza criticata deve anche chiaramente dimostrare per quali motivi l'eliminazione dell'asserito vizio possa avere un'influenza determinante sull'esito della causa (art. 97 cpv. 1 LTF): dimostrazione che, nella fattispecie, comportava appunto una presa di posizione in merito all'apprezzamento complessivo delle prove contenuto nel giudizio impugnato e che non poteva pertanto esaurirsi in precisazioni in merito a fatti che "contribuiscono a dimostrare" il degradato stato mentale del de cuius e in semplici affermazioni secondo cui la Corte cantonale avrebbe omesso di valutare singoli fatti o prove "rilevanti" o "determinanti" ai fini della causa (precedente consid. 2.4 e la giurisprudenza ivi menzionata).
7.5 Nella misura in cui il ricorrente accompagna alle critiche all'accertamento dei fatti ed all'apprezzamento delle prove la denuncia della violazione del suo diritto di essere sentito, è infine appena il caso di ricordare che - quand'anche ammissibile - simile censura sarebbe destinata all'insuccesso. Il diritto di ottenere una decisione motivata non impone infatti all'autorità giudicante di pronunciarsi su tutti gli argomenti sottopostile dalle parti, bensì di menzionare le ragioni che l'hanno indotta a decidere in un senso piuttosto che nell'altro e porre quindi gli interessati nella condizione di rendersi conto della portata del giudizio e delle eventuali possibilità di impugnazione (DTF 133 III 439 consid. 3.3 pag. 445 con rinvii).
7.6 Per quanto precede, confermata dev'essere anche la conclusione della Corte cantonale secondo cui la prova dell'incapacità di discernimento nei momenti determinanti non è stata in concreto fornita.
La denuncia della violazione dell'art. 519 cpv. 1 n. 1 CC, che il ricorrente formula insieme alle critiche rivolte all'accertamento dei fatti e all'apprezzamento delle prove, è in effetti subordinata all'accoglimento di tali critiche e non deve pertanto essere ulteriormente trattata.
8. Per il caso in cui il Tribunale federale dovesse giungere, come è giunto, a ritenere che nei momenti determinanti di cui si è detto (precedente consid. 3) F._ fosse capace di discernimento e fosse quindi in grado di disporre, il ricorrente contesta al Tribunale d'appello la mancata analisi dell'esistenza di un errore nell'espressione di libera volontà del testatore in applicazione dell'art. 519 cpv. 1 n. 2 CC. In questo ambito, rimprovera quindi alla Corte cantonale anche un accertamento dei fatti lesivo dell'art. 95 LTF rispettivamente la valutazione arbitraria di fatti o complessi di fatto, in urto con quanto risulterebbe dagli atti.
8.1 Sostenendo un errore nell'espressione di libera volontà del testatore in applicazione dell'art. 519 cpv. 1 n. 2 CC, il ricorrente - che tenta invano di asserire il contrario - si avvale di un'argomentazione giuridica cui non aveva fatto capo davanti al Tribunale d'appello e che si concretizza pertanto in una nuova proposta di sussunzione. La formulazione di una nuova argomentazione davanti al Tribunale federale è di principio ammissibile, presuppone tuttavia che la Corte cantonale abbia già accertato la realizzazione dei presupposti fattuali della nuova ipotesi giuridica e che questi emergano dalla decisione impugnata (art. 105 cpv. 1 LTF; DTF 130 III 28 consid. 4.4 pag. 34; 129 III 135 consid. 2.3.1 pag. 144).
Così però manifestamente non è nella fattispecie: tant' è che l'accertamento dei fatti lesivo dell'art. 95 LTF e la valutazione arbitraria di fatti determinanti al riconoscimento dell'errore sono pure oggetto di specifici rimproveri da parte del ricorrente.
8.2 Sennonché anche tali censure, volte a criticare rispettivamente a completare e correggere l'accertamento dei fatti svolto dalla Corte cantonale, al fine di permettere al Tribunale federale l'applicazione dell'invocato art. 519 cpv. 1 n. 2 CC, non risultano affatto ammissibili.
8.2.1 Un accertamento dei fatti svolto in violazione del diritto ai sensi dell'art. 95 LTF può senza dubbio risiedere in una fattispecie incompleta, poiché l'autorità inferiore viola il diritto materiale se non accerta tutti i fatti pertinenti alla sua applicazione. Se intende completare l'accertamento dei fatti per ottenere una corretta applicazione del diritto, il ricorrente deve tuttavia indicare di aver già allegato le circostanze di fatto addotte nel gravame in sede cantonale, nei modi e nei tempi previsti dalle disposizioni procedurali applicabili e di aver fornito i relativi mezzi di prova, ciò che egli ha omesso nella fattispecie di fare (sentenze 4A_653/2010 del 24 giugno 2011 consid. 1.3; 5A_730/2009 del 2 marzo 2010 consid. 2; 4A_290/2007 del 10 dicembre 2007 consid. 5.1).
Ritenuto che - così come la legge federale sull'organizzazione giudiziaria del 16 dicembre 1943 (OG) - anche la LFT non conferisce alle parti il diritto di completare ad libitum i fatti constatati dall'autorità cantonale, sulla base del solo pretesto che ciò condurrebbe ad una soluzione differente del litigio, la critica secondo cui i fatti sarebbero stati accertati in violazione del diritto ai sensi dell'art. 95 LFT è pertanto inammissibile (sentenza 4A_214/2008 del 9 luglio 2008 consid. 1.2 non pubblicata in DTF 134 III 570).
8.2.2 Limitandosi in sostanza a dar rilievo ad aspetti che ritiene determinanti per l'esame della nuova fattispecie proposta, il ricorrente non presenta nel contempo nemmeno una censura che permette di sostanziare un accertamento e una valutazione dei fatti manifestamente errati.
Una critica d'arbitrio, come quella sollevata (precedente consid. 2.3), non può in effetti esaurirsi nell'esposizione di una propria versione dei fatti, integrata da estratti di documenti agli atti di cui il ricorrente fornisce una personale lettura (sentenza 4A_653/2010 del 24 giugno 2011 consid. 1.3).
Anche in questo caso, necessaria è la chiara e precisa dimostrazione, in concreto non fornita, che i giudici cantonali hanno manifestamente misconosciuto il senso e la portata di un mezzo di prova, hanno omesso senza valida ragione di tener conto di un elemento di prova importante, suscettibile di modificare l'esito della vertenza, oppure hanno ammesso o negato un fatto ponendosi in aperto contrasto con gli atti di causa o interpretandoli in modo insostenibile (DTF 134 V 53 consid. 4.3 pag. 62; 133 III 393 consid. 7.1 pag. 398, 462 consid. 2.4 pag. 466 seg.).
8.3 Per i motivi che precedono, le critiche sollevate in relazione al riconoscimento di un possibile errore giusta l'art. 519 cpv. 1 n. 2 CC, devono essere tutte dichiarate inammissibili.
9. 9.1 In un ulteriore punto della sua impugnativa, il ricorrente denuncia come la Corte cantonale non abbia né esaminato né deciso le domande formulate ai punti I § 2 e I § 3 del petito di appello. Tale omissione sarebbe arbitraria, poiché nessun motivo giustificherebbe un simile silenzio. In questo silenzio sarebbe inoltre ravvisabile una violazione del suo diritto di essere sentito.
9.2 Nel punto I § 2 del petito d'appello, sostanziato alla lettera W dell'appello, il ricorrente chiedeva di condannare B._ a restituire quanto percepito, rispettivamente prelevato dal compendio successorio a partire dal 19 luglio 2000. Nel punto I § 3 del petito d'appello, egli postulava invece l'accertamento della nullità rispettivamente l'annullamento dell'istituzione dell'avv. C._ quale esecutore testamentario. Secondo il petito, entrambe le richieste menzionate erano chiaramente subordinate alla domanda principale d'annullamento della sentenza del 15 aprile 2008 del Pretore di Locarno-Campagna e all'accoglimento della petizione dell'11 novembre 2003, una volta tratta la conclusione che - nei momenti determinanti (precedente consid. 3) - il de cuius non era capace di discernimento.
A simile conclusione il Tribunale d'appello non è però giunto, poiché ha confermato che la capacità di discernimento era in realtà data. Confermando in toto il giudizio del Pretore, la Corte cantonale ha quindi respinto, senza incorrere in arbitrio, anche le richieste subordinate ad un accoglimento della domanda principale. Su questo punto, per quanto formulate in maniera ammissibile (art. 106 cpv. 2 LTF) e per quanto non fondate su fatti nuovi, che non risultano dal giudizio impugnato, le critiche sollevate con il ricorso devono pertanto essere dichiarate infondate.
10. Un'ultima censura è volta a contestare la conferma da parte del Tribunale d'appello della decisione sulle ripetibili presa dal Pretore sulla base della Tariffa dell'Ordine degli Avvocati del Cantone Ticino (TOA), così come a criticare l'ammontare delle ripetibili decise per la procedura d'appello.
10.1 Per quanto riguarda le ripetibili riconosciute ad B._ e all'avv. C._ in prima istanza, il Tribunale d'appello ha deciso di non entrare nel merito delle richieste formulate, poiché le ha ritenute non cifrate e pertanto inammissibili alla luce dell'art. 309 cpv. 2 lett. e CPC-TI. Il ricorrente contesta per contro di non aver cifrato le sue richieste e considera di conseguenza che la conclusione tratta dalla Corte cantonale sia il risultato di una valutazione arbitraria dei fatti.
10.1.1 Nell'atto d'appello il ricorrente ha sostenuto che le ripetibili dovute a B._ dovevano essere calcolate "sicuramente sotto il minimo della TOA, vista la semplicità della vertenza, senza nessun aumento". In merito all'indenntà riconosciuta dal Pretore all'avv. C._ ha invece affermato che la TOA non avrebbe dovuto essere applicata e che neppure erano date le premesse per il riconoscimento di ripetibili a un avvocato che vince una causa propria difendendosi da solo. Parlando di entrabi i convenuti, ha inoltre osservato che essi avevano probabilmente discusso i propri allegati, riducendo l'impegno reso necessario per allestire i rispettivi memoriali, motivo per cui nemmeno si giustificava un cumulo delle ripetibili a favore dei litisconsorti.
10.1.2 Contrariamente a quanto crede, riferendosi a tali affermazioni e sostenendo che le sue richieste dovessero in realtà essere intese come cifrate, il ricorrente non dimostra affatto che la Corte cantonale è incorsa in arbitrio (precedente consid. 2). Il ricorrente - che non solleva per altro nemmeno censure valide in merito all'applicazione del diritto cantonale - si limita in effetti a fornirne una propria interpretazione di quelle stesse affermazioni ed a contrapporre il suo parere a quello dell'autorità giudiziaria (DTF 136 III 552 consid. 4.2 pag. 560; 134 V 53 consid. 4.3 pag. 62; 129 I 8 consid. 2.1 pag. 9; 127 I 38 consid. 2a pag. 40 seg.).
Di conseguenza, anche le critiche mosse in relazione alla decisione del Tribunale d'appello di non esaminare la correttezza dell'ammontare delle ripetibili stabilite dal Pretore, poiché le richieste del ricorrente non erano cifrate, per quanto ammissibili, non possono essere condivise.
10.2 Per la procedura d'appello, il giudizio impugnato ha stabilito le ripetibili dovute a B._ in base all'art. 11 del regolamento sulla tariffa per i casi di patrocinio d'ufficio e di assistenza giudiziaria e per la fissazione delle ripetibili del 19 dicembre 2007 (RL/TI 3.1.1.7.1). Partendo da un valore di causa di fr. 5'000'000.--, ha quindi riconosciuto a quest'ultimo un importo di fr. 75'000.--, IVA e spese comprese. Per quanto riguarda l'avv. C._, non riferendosi alla tariffa prevista dal regolamento menzionato, il Tribunale d'appello ha invece fissato l'indennità sulla base di criteri equitativi, riconoscendogli un importo ridotto del 30 % pari a fr. 52'500.--. In entrambi i casi, il ricorrente non concorda con la decisione del Tribunale d'appello, poiché ritiene essenzialmente che sia frutto di un'applicazione arbitraria del diritto cantonale.
10.2.1 Riferendosi alle ripetibili di B._, il ricorrente considera che la somma riconosciuta ecceda illecitamente l'importo massimo previsto dalla tariffa applicabile, pari a fr. 60'000.--. Così argomentando applica però, senza spiegarne i motivi, la tariffa del 2 % valida per cause con un valore non pari a fr. 5'000'000.-- bensì eccedente questo importo, ciò che non risulta manifestamente essere il caso nella fattispecie. A prescindere da tale aspetto, che inficia già di per sé la critica formulata, anche in questo caso egli si limita poi a parlare d'arbitrio senza addurre nessuna reale argomentazione in merito. Nemmeno il rimprovero secondo cui la decisione sarebbe immotivata, può infine assumere carattere autonomo. Sempre che il ricorrente intendesse far con ciò davvero valere una carente motivazione del giudizio impugnato, avrebbe in effetti dovuto formulare una censura vertente sulla violazione del suo diritto di essere sentito, che fosse nel contempo conforme all'art. 106 cpv. 2 LTF.
10.2.2 Non motivata è anche la censura d'arbitrio sollevata riguardo alle ripetibili riconosciute all'avv. C._. Come già più volte rammentato, l'arbitrio non è infatti ravvisabile nella mera possibilità che un'altra soluzione sembri eventualmente possibile o addirittura preferibile, occorre piuttosto che la decisione impugnata sia manifestamente insostenibile non solo nella motivazione, ma anche nel suo risultato (DTF 133 I 149 consid. 3.1 pag. 153; 132 III 209 consid. 2.1 pag. 211; 131 I 217 consid. 2.1 pag. 219).
La critica sollevata basa per altro sull'errato assunto che la Corte cantonale abbia calcolato le ripetibili d'appello dovute all'avv. C._ facendo anche in questo caso capo al regolamento sulla tariffa per i casi di patrocinio d'ufficio e di assistenza giudiziaria e per la fissazione delle ripetibili, dalla cui tariffa il Tribunale d'appello si è invece scostato. Per quanto ammissibile, ogni critica sollevata partendo da tale errato assunto - compresa quella secondo cui la decisione impugnata contravverrebbe su questo punto alle regole sulla retribuzione del mandato - risulta quindi anch'essa infondata.
11. Da quanto precede discende che il ricorso, formulato quale ricorso in materia civile rispettivamente quale ricorso sussidiario in materia costituzionale, nella misura in cui è ammissibile, è infondato e come tale va respinto, sia per quanto riguarda le domande presentate in via principale che subordinata. Le spese giudiziarie seguono la soccombenza (art. 66 cpv. 1 LTF). Per quanto riguarda le ripetibili, occorre rilevare che gli opponenti hanno unicamente dovuto pronunciarsi sulla domanda di conferimento dell'effetto sospensivo, risultando soccombenti. Non si giustifica pertanto l'assegnazione di ripetibili per la sede federale.
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 20'000.-- sono poste a carico del ricorrente.
3. Comunicazione alle parti e alla Prima Camera civile del Tribunale d'appello del Cantone Ticino.