Fatti: A. Il 17 settembre 1987 A._ ha aperto presso la succursale luganese della Banca C._ la relazione xxx X._, sottoscrivendo il relativo plico di documenti, tra cui le condizioni generali e la dichiarazione di trattenere la posta "fermo banca". Il 30 agosto 1991 egli ha conferito procura individuale al figlio D._. Tramite il vicedirettore e poi direttore E._ la banca ha eseguito operazioni fiduciarie sul mercato monetario e sui metalli preziosi nonché investimenti in obbligazioni e azioni. Il 23 gennaio 2002 il cliente, venuto a conoscenza che i suoi investimenti si erano rivelati deficitari, ha chiuso la relazione. B. Il 10 settembre 2003 A._ ha convenuto il B._ - che nel frattempo aveva assorbito la Banca C._ - davanti alla Pretura del Distretto di Lugano chiedendo il pagamento di fr. 5'647'240.-- più interessi, somma poi ridotta in sede di conclusioni a fr. 5'278'992.80. Rimproverava alla banca di avergli causato perdite per tale importo modificando unilateralmente a partire dal 1999 la strategia d'investimento concordata a suo tempo, in particolare acquistando, non sorvegliando né vendendo tempestivamente una quindicina di "titoli spazzatura", altamente speculativi, non quotati nelle principali borse, privi di rating o con un rating insufficiente, che non avrebbero dovuto trovare spazio nel suo portafoglio. Con sentenza dell'8 maggio 2008 il Pretore ha accolto l'azione per EUR 1'149'661.--, US $ 1'349'925.--, fr. 701'836.-- e CA $ 13'631.-- più interessi, riconoscendo alla convenuta la facoltà di pagare queste somme in franchi svizzeri al tasso di cambio del 28 gennaio 2002. C. Adita dal B._, il 24 agosto 2009 la II Camera civile del Tribunale d'appello ticinese ha riformato parzialmente la decisione del Pretore, riducendo la condanna di pagamento a US $ 161'836.-- oltre interessi, o all'importo corrispondente in franchi svizzeri. D. A._ insorge davanti al Tribunale federale con ricorso in materia civile del 25 settembre 2009. Chiede che la sentenza cantonale sia riformata e che la convenuta sia condannata a pagargli EUR 1'150'530.--, US $ 1'350'788.--, fr. 701'745.-- e CA $ 13'631.-- oltre interessi, con facoltà di pagare questo importo in franchi svizzeri al tasso di cambio vigente il 28 gennaio 2002. Nella risposta del 12 novembre 2009 il B._ propone di respingere il gravame nella misura in cui fosse ammissibile. L'autorità cantonale non si è pronunciata.