Fatti:
A. Il 29 novembre 1999 A._ (1965) è stato coinvolto in un incidente stradale la cui responsabilità è interamente ascrivibile a D._, assicurata presso B. SA, ora C._ (di seguito: Assicurazione).
Dopo il sinistro egli non è più stato in grado di lavorare e dal 1° novembre 2000 percepisce una rendita intera d'invalidità.
B. Il 17 settembre 2004 A._ si è rivolto alla Pretura del Distretto di Lugano, onde ottenere dall'Assicurazione il pagamento di complessivi fr. 638'960.--, oltre interessi, così composti: fr. 628'610.-- a titolo di perdita di guadagno; fr. 350.--, a titolo di rimborso per il telefono cellulare andato distrutto; fr. 10'000.-- a titolo di indennità per torto morale.
L'Assicurazione si è opposta alla petizione richiamandosi in particolare alla sentenza emanata il 5 settembre 2001 dal Tribunale federale delle assicurazioni, che ha confermato in ultima istanza la decisione 15 marzo 2000 dell'Istituto nazionale svizzero di assicurazione contro gli infortuni (INSAI/Suva) di negare a A._ il diritto a prestazioni assicurative dopo il 13 marzo 2000, non essendovi (più) una relazione di causalità naturale fra l'incidente stradale e i disturbi alla salute da lui ancora accusati.
La tesi difensiva dell'Assicurazione non ha trovato alcun seguito presso il Segretario assessore della pretura adita, il quale, statuendo il 31 ottobre 2007, ha ammesso l'esistenza di un nesso di causalità naturale e adeguata tra la collisione e l'insorgere dei problemi di salute di A._, che hanno condotto alla sua totale inabilità lavorativa. Tenuto conto del fatto che il suo stato patologico preesistente ha contribuito ad aggravare il danno (predisposizione costituzionale), il giudice ha comunque diminuito del 75 % il risarcimento concessogli, accogliendo per finire la petizione limitatamente a fr. 154'133.10, oltre interessi, pari a fr. 149'133.10 quale perdita di guadagno (attuale, futura e connessa alla riduzione delle rendite di vecchiaia) e fr. 5'000.-- per torto morale.
C. Di diverso avviso la II Camera civile del Tribunale d'appello del Cantone Ticino, che con sentenza del 17 dicembre 2008 ha riformato il giudizio di primo grado e ridotto a fr. 5'000.-- l'importo a carico dell'Assicurazione, non avendo essa contestato in sede di appello la somma riconosciuta dal Segretario assessore quale indennità per torto morale.
In breve, la massima istanza cantonale è giunta alla conclusione che A._ non è riuscito a dimostrare l'esistenza di un nesso di causalità naturale tra il sinistro del 29 novembre 1999 e i problemi di salute successivi al 14 marzo 2000. Donde la reiezione delle sue pretese.
D. Prevalendosi della violazione del diritto federale, il 2 febbraio 2009 A._ è insorto dinanzi al Tribunale federale con un ricorso in materia civile volto a ottenere la modifica della predetta decisione nel senso della reiezione dell'appello e, di conseguenza, della conferma della pronunzia pretorile.
L'istanza di assistenza giudiziaria e gratuito patrocinio da lui presentata contestualmente all'impugnativa è stata accolta con decreto del 3 luglio 2009.
Nella risposta del 14 settembre 2009 l'Assicurazione ha proposto di respingere il gravame, mentre l'autorità cantonale non si è determinata.

Diritto:
1. 1.1 Interposto tempestivamente (<ref-law>) dalla parte soccombente in sede cantonale (<ref-law>) contro una decisione finale (<ref-law>) pronunciata dall'autorità ticinese di ultima istanza (<ref-law>) in una causa civile di carattere pecuniario il cui valore litigioso supera fr. 30'000.-- (<ref-law>), il ricorso risulta ricevibile.
1.2 Il Tribunale federale esamina d'ufficio l'applicazione del diritto federale (<ref-law>).
Non è vincolato né dagli argomenti sollevati nel ricorso né dalle considerazioni dell'autorità inferiore, può accogliere un ricorso per motivi diversi da quelli invocati dalla parte insorgente e respingerlo adottando un'argomentazione differente da quella esposta nel giudizio impugnato (cfr. <ref-ruling> consid. 4.3.4 pag. 241). Tenuto conto dell'onere di allegazione e motivazione posto dall'art. 42 cpv. 1 e 2 LTF, la cui mancata ottemperanza conduce all'inammissibilità del gravame (<ref-law>), il Tribunale federale esamina comunque di regola solo le censure sollevate (<ref-ruling> consid. 1.1 pag. 104 seg.).
Le censure concernenti la violazione di diritti fondamentali e di disposizioni di diritto cantonale e intercantonale vengono invece esaminate solamente se sollevate e motivate conformemente ai dettami dell'<ref-law> (<ref-ruling> consid. 2.2).
1.3 Per quanto riguarda l'accertamento dei fatti, in linea di principio il Tribunale federale fonda il proprio ragionamento giuridico sui fatti così come accertati dall'autorità inferiore (<ref-law>); nuovi fatti e nuovi mezzi di prova possono essere addotti soltanto se ne dà motivo la decisione dell'autorità inferiore (<ref-law>).
Il Tribunale federale può scostarsi dall'accertamento dei fatti contenuto nella sentenza impugnata o completarlo solo se è stato violato il diritto ai sensi dell'<ref-law> o se i fatti sono stati accertati in modo manifestamente inesatto (<ref-law>). Spetta alla parte che intende prevalersi di una fattispecie diversa da quella constatata nella sentenza criticata esporre in maniera circostanziata il motivo che la induce a ritenere adempiute queste condizioni; occorre inoltre che l'eliminazione dell'asserito vizio possa influire in maniera determinante sull'esito della causa (<ref-law>).
2. Giusta l'<ref-law> "se, con un veicolo a motore che è in esercizio, è cagionata la morte o la lesione corporale di una persona oppure un danno materiale, il detentore è civilmente responsabile dei danni". In virtù dell'<ref-law>, la vittima di un incidente stradale, che presenta una richiesta di risarcimento danni nei confronti del detentore del veicolo a motore rispettivamente della sua assicurazione civile, è dunque tenuta a dimostrare il danno e l'esistenza di un nesso causale naturale e adeguato fra questo e l'utilizzo del veicolo a motore (<ref-ruling> consid. 1b pag. 272).
3. Nella fattispecie, la controversia verte unicamente sulla questione dell'esistenza del nesso di causalità naturale fra la collisione e il danno alla salute patito dal ricorrente, che ha condotto alla sua totale incapacità lavorativa.
3.1 In prima istanza, l'esistenza del nesso causale naturale tra l'incidente del 29 novembre 1999 e i problemi di salute del qui ricorrente è stata ammessa senza esitazioni.
Secondo gli accertamenti del perito giudiziario, infatti, - si legge nella sentenza del 31 ottobre 2007, al consid. 9.1 - "la collisione del 29 novembre 1999 ha funto da elemento scatenante per i danni alla salute dell'attore che, a partire da quello stesso giorno, hanno comportato la sua inabilità lavorativa. Il trauma cranico e la distorsione cervicale causati dall'incidente hanno, in poco tempo (3 mesi), condotto [...] allo sviluppo di una mialgia [...]. In altre parole, senza tale evento, i danni non sarebbero subentrati, perlomeno nei tempi concreti in cui si sono verificati". L'esperto ha inoltre accertato che "tale nesso sussiste tutt'oggi".
3.2 Il Tribunale d'appello ha deciso diversamente.
Disattesa la richiesta dell'Assicurazione di riconoscere effetto vincolante alla sentenza emanata il 5 settembre 2001 dal Tribunale federale delle assicurazioni, che aveva concluso per l'assenza di un nesso di causalità naturale fra l'infortunio e i problemi di salute del ricorrente a contare dal 14 marzo 2000, i giudici della massima Corte ticinese hanno concesso a quest'ultimo la possibilità di "tentare di provare il contrario nella causa civile di risarcimento". Essi sono comunque poi giunti alla conclusione che la perizia giudiziaria non ha dimostrato "l'esistenza di un nesso di causalità naturale tra l'incidente e gli attuali problemi di salute dell'attore oltre il 14 marzo 2000", indi per cui hanno deciso "a sfavore di quest'ultimo, pacificamente gravato dall'onere della prova (<ref-law>)".
4. Nell'allegato inoltrato al Tribunale federale il ricorrente rimprovera alla Corte cantonale di non aver tenuto nella debita considerazione le differenze esistenti fra il diritto della responsabilità civile e il diritto delle assicurazioni sociali ed espone le ragioni per le quali la perizia giudiziaria attesta con il grado dell'alta verosimiglianza l'esistenza di un nesso di causalità tra l'incidente del 1999 e i suoi attuali problemi di salute. Conclude il proprio scritto chiedendo la conferma della pronunzia pretorile, che ha considerato la predisposizione costituzionale nell'ambito della commisurazione del risarcimento (44 CO), in una misura per lui accettabile.
Le critiche ricorsuali sono giustificate.
5. 5.1 La definizione del nesso di causalità naturale nel diritto della responsabilità civile è identica a quella nel diritto delle assicurazioni sociali. Vi è causalità naturale (relazione di causa-effetto) quando un determinato evento costituisce la conditio sine qua non per il realizzarsi di un certo risultato. Questo presupposto è da considerarsi adempiuto qualora si possa ammettere che senza l'evento in questione il danno non si sarebbe verificato, rispettivamente si sarebbe verificato in un altro modo o in un altro tempo; non occorre per contro che tale evento sia la sola causa del danno. L'accertamento della causalità naturale è una questione di fatto. Qualora non sia possibile fornirne la prova certa, basta che la parte gravata dall'onere probatorio lo dimostri con il grado della verosimiglianza preponderante (cfr., per la responsabilità civile, <ref-ruling> consid. 4.4.2 pag. 470 con rinvii, e, per l'assicurazione contro gli infortuni, <ref-ruling> consid. 3.1 pag. 181 con rinvii).
5.2 Il nesso di causalità naturale fra l'incidente e l'insorgere del danno alla salute patito dalla vittima, che ne comporta l'incapacità lavorativa, è il primo presupposto che dev'essere realizzato sia per poter ammettere la responsabilità civile del detentore del veicolo a motore (haftungsbegründender Kausalzusammenhang; cfr. consid. 2) sia per poter ammettere il diritto della vittima alle prestazioni dell'assicurazione contro gli infortuni (leistungsbegründender Kausalzusammenhang; cfr. Markus Schmid, Natürliche und adäquate Kausalität im Haftpflicht- und Sozialversicherungsrecht, in Haftpflicht- und Versicherungsrechtstagung 1997, pag. 183-208 in particolare pag. 190 seg.).
Nella fattispecie in esame, come rilevato nel ricorso, l'esistenza del nesso di causalità naturale fra la collisione del 29 novembre 1999 e l'insorgere del danno alla salute del ricorrente, che a partire da quel giorno è divenuto totalmente inabile al lavoro, è stata ammessa sia dal giudice di primo grado (cfr. consid. 3.1) sia dalla Suva, che gli ha fornito le prestazioni previste dalla legge fino al 13 marzo 2000.
5.3 Dato che l'erogazione delle prestazioni previste dalla LAINF presuppone l'esistenza del nesso causale con l'infortunio, l'assicurazione contro gli infortuni è legittimata a riesaminare in ogni momento la relazione di causa-effetto fra l'infortunio e i disturbi della salute che affliggono l'assicurato (Susanne Leuzinger-Naef, Der Wegfall der Unfallkausalität, in Sozialversicherungsrechtstagung 2007, pag. 11-33, in particolare pag. 22-23). L'obbligo dell'assicurazione contro gli infortuni di corrispondere le prestazioni cessa se l'infortunio non costituisce (più) la causa naturale (e adeguata) del danno, ossia se quest'ultimo è da ricondurre soltanto ed esclusivamente a fattori extrainfortunistici. Ciò si verifica se lo stato di salute dell'interessato è paragonabile a quello esistente immediatamente prima dell'infortunio (status quo ante) oppure a quello che, prima o poi, secondo l'evoluzione ordinaria, sarebbe sopraggiunto anche senza l'infortunio stesso (status quo sine). Al contrario, fintantoché lo status quo sine vel ante non è ristabilito, l'assicuratore infortuni è chiamato ad assumere il trattamento anche dello stato patologico preesistente nella misura in cui quest'ultimo è stato causato o aggravato dall'infortunio (sentenza U 122/2002 del 28 maggio 2004 consid. 4.2.1, in RtiD 2004 II pag. 196 segg.).
Sulla scorta di questi principi, nel caso in rassegna la Suva, a partire dal 14 marzo 2000 ha cessato ogni prestazione a favore dell'assicurato, qui ricorrente, le turbe da lui lamentate non essendo più riconducibili all'incidente del 29 novembre 1999 bensì ai problemi di salute ch'egli aveva già precedentemente (cfr. sentenza U 94/2001 del 5 settembre 2001).
5.4 Il Tribunale d'appello sembra aver voluto applicare questi principi anche nell'ambito della responsabilità civile, laddove ha imposto al ricorrente di dimostrare che il nesso causale naturale fra l'incidente e i suoi problemi di salute continua a sussistere anche dopo il 14 marzo 2000. A torto.
Nel diritto della responsabilità civile è sufficiente che il nesso di causalità naturale fra il sinistro e il danno sussista al momento del sinistro. In concreto, il perito giudiziario ha accertato che la collisione del 29 novembre 1999 ha funto da elemento scatenante per i danni alla salute del ricorrente, che a partire da quello stesso giorno è divenuto completamente e definitivamente inabile al lavoro. Questo basta per ammettere l'esistenza del nesso causale naturale fra l'evento dannoso e l'insorgere del danno (cfr. consid. 5.1; sentenza 4A_45/2009 del 25 marzo 2009 consid. 2.3.1).
5.5 Ciò non significa che lo stato patologico preesistente della vittima non venga tenuto in nessun conto nel diritto della responsabilità civile.
Come rettamente considerato nella pronunzia pretorile, lo stato patologico preesistente della vittima viene preso in considerazione nel quadro della determinazione del danno (<ref-law>) o della commisurazione del risarcimento (<ref-law>), se ha contribuito all'insorgere del danno o ad aggravarlo (cosiddetta predisposizione costituzionale; cfr. sentenza 4C.49/2007 del 28 agosto 2007 consid. 5.1 in RtiD 2008 I pag. 1038 segg. con rinvii). In concreto, posto che - stando a quanto emerso dalla perizia giudiziaria - lo stato di debolezza del ricorrente preesistente all'incidente ha contribuito, insieme alla collisione stessa, a favorire il processo degenerativo che ha portato ai suoi attuali problemi di salute - senza che sia stato tuttavia possibile stabilire, con un grado di verosimiglianza preponderante, se e quando il ricorrente avrebbe presentato una sintomatologia analoga anche in assenza dell'infortunio - il giudice di prima istanza ha ridotto del 75 % il risarcimento concesso al ricorrente (<ref-law>).
Stando a quanto accertato nella sentenza impugnata - in maniera vincolante per il Tribunale federale (<ref-law>) - le conclusioni del giudice di primo grado a questo riguardo non sono state contestate così come non risulta essere stato criticato il calcolo del danno.
5.6 In conclusione, nella misura in cui ha imposto al ricorrente di dimostrare l'esistenza del nesso causale naturale fra l'infortunio e i suoi problemi di salute dopo il 14 marzo 2000, la Corte cantonale ha violato i principi che vigono nel diritto della responsabilità civile in materia di nesso causale naturale.
E in assenza di contestazioni in merito alla determinazione del risarcimento effettuata in prima istanza, può essere accolta la richiesta del ricorrente di confermare tale giudizio.
6. Il ricorso in materia civile viene pertanto accolto e la sentenza impugnata modificata nel senso che l'appello dell'Assicurazione viene respinto e, di conseguenza, viene confermata la pronunzia pretorile.
Le spese giudiziarie e le ripetibili della sede federale seguono la soccombenza (art. 66 cpv. 1 e 68 cpv. 1 e 2 LTF).

Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso è accolto.
Di conseguenza la sentenza emanata il 17 dicembre 2008 dalla II Camera civile del Tribunale d'appello del Cantone Ticino è annullata e modificata come segue:
I. L'appello 22 novembre 2007 di C._ è respinto.
II. Le spese della procedura di appello, consistenti in:
a) tassa di giustizia fr. 1'750.--
b) spese fr. 50.--
Totale fr. 1'800.--
sono poste a carico dell'appellante, che rifonderà alla controparte fr. 4'500.-- per ripetibili di appello.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico dell'opponente, la quale rifonderà al ricorrente fr. 2'500.-- per ripetibili della sede federale.
3. Comunicazione ai patrocinatori delle parti e alla II Camera civile del Tribunale d'appello del Cantone Ticino.