Fatti:
A. Nel luglio 1999 la A._AG ha sottoscritto, per conto di clienti suoi e tramite B._SA, con la quale collaborava da tempo quale gestore esterno, delle obbligazioni convertibili della ditta canadese C._ al prezzo di USD 1'345'000.--. L'atto di sottoscrizione prevedeva, in breve, che il portatore potesse sostituire le obbligazioni originarie e convertirle in azioni della società, ma che la vendita di questi titoli non potesse avvenire per un periodo di dodici mesi dalla data di emissione.
La A._AG rimprovera a B._SA di averle dato informazioni erronee, o di non averne date del tutto, e di non avere eseguito i suoi ordini nell'ambito delle suddette operazioni di sostituzione, conversione e vendita di titoli.
B. B.a Il 21 agosto 2002 la A._AG ha promosso azione contro B._SA davanti al Pretore di Lugano, chiedendo il pagamento di fr. 1'612'852.--, suddivisi in fr. 1'581'000.-- per risarcimento del danno consecutivo alla mancata vendita delle azioni nel settembre 2000, fr. 27'500.-- di perdita di guadagno e fr. 4'352.-- di spese legali pre-processuali. La convenuta si è opposta alla petizione, eccependo anche l'incompetenza per territorio.
Il Pretore si è pronunciato con sentenza dell'11 ottobre 2007. Ha respinto l'eccezione d'incompetenza territoriale addossando alla convenuta fr. 500.-- di tassa di giustizia e fr. 1'000.- di ripetibili. Nel merito ha respinto la petizione condannando l'attrice a pagare la tassa di giustizia di fr. 8'000.-- e ripetibili di fr. 90'000.--.
B.b La successiva appellazione dell'attrice è stata respinta il 5 giugno 2009 dalla II Camera civile del Tribunale di appello ticinese, eccetto che per le ripetibili assegnate per la decisione sull'eccezione d'incompetenza, che sono state aumentate a fr. 3'000.--. L'attrice è stata chiamata a pagare fr. 12'000.-- di tassa di giustizia e fr. 30'000.-- di ripetibili della procedura di appello.
C. La A._AG insorge davanti al Tribunale federale con ricorso in materia civile del 10 luglio 2009. Chiede che, in riforma della sentenza d'appello, la convenuta sia condannata a pagarle fr. 1'612'852.--, in subordine fr. 808'152.-- oppure 202'689.-- con interessi al 5 % dal 22 agosto 2001; inoltre "protesta tasse, spese e ripetibili per tutti i gradi di giudizio".
La convenuta propone di respingere il ricorso con risposta del 19 ottobre 2009. L'autorità cantonale ha rinunciato a una presa di posizione.
Diritto:
1. Il Tribunale federale si pronuncia d'ufficio e con pieno potere d'esame sulla propria competenza e sull'ammissibilità del rimedio (art. 29 cpv. 1 LTF; DTF 135 III 212 consid. 1 pag. 216 con rinvii).
Interposto tempestivamente (art. 100 cpv. 1 LTF) dalla parte soccombente in sede cantonale (art. 76 cpv. 1 LTF) contro una decisione finale (art. 90 LTF) pronunciata dall'autorità ticinese di ultima istanza (art. 75 cpv. 1 LTF) in una causa civile di carattere pecuniario il cui valore litigioso supera fr. 30'000.-- (art. 72 e 74 cpv. 1 lett. b LTF) il ricorso è ricevibile.
2. È necessario ricordare preliminarmente l'estensione e i limiti del potere di esame del Tribunale federale e gli obblighi di motivazione di chi ricorre.
2.1 Il diritto federale è esaminato d'ufficio (art. 106 cpv. 1 LTF), tenuto però conto dell'obbligo minimo di allegazione e motivazione sancito dall'art. 42 cpv. 1 e 2 LTF (DTF 134 III 102 consid. 1.1 pag. 104). Le esigenze sono più rigorose quando è fatta valere la violazione di diritti fondamentali e di disposizioni di diritto cantonale e intercantonale. Il Tribunale federale esamina infatti queste censure solo se la parte ricorrente le ha debitamente sollevate e motivate, come prescritto dall'art. 106 cpv. 2 LTF, che pone esigenze analoghe a quelle che vigevano per il ricorso di diritto pubblico secondo l'art. 90 cpv. 1 lett. b vOG (DTF 134 II 244 consid. 2.2).
2.2 In linea di principio il Tribunale federale fonda il suo ragionamento giuridico sull'accertamento dei fatti effettuato dall'autorità inferiore (art. 105 cpv. 1 LTF); può scostarsene o completarlo solo se è stato svolto in violazione del diritto ai sensi dell'art. 95 LTF o in modo manifestamente inesatto (art. 105 cpv. 2 LTF).
L'accertamento dei fatti contenuto nella sentenza impugnata può essere censurato alle stesse condizioni; occorre inoltre che l'eliminazione dell'asserito vizio possa influire in maniera determinante sull'esito della causa (art. 97 cpv. 1 LTF). Tocca alla parte che propone una fattispecie diversa da quella contenuta nella sentenza criticata esporre in maniera circostanziata il motivo che la induce a ritenere adempiute queste condizioni (art. 97 cpv. 1 LTF). Dato che la definizione di "manifestamente inesatto" corrisponde a quella di arbitrario (DTF 133 II 249 consid. 1.2.2 pag. 252) e configura dunque a sua volta una violazione di un diritto fondamentale (art. 9 Cost.; DTF 134 IV 36 consid. 1.4.1 pag. 39), valgono le esigenze di motivazione poste dall'art. 106 cpv. 2 LTF.
Nuovi fatti e nuovi mezzi di prova possono essere addotti soltanto se ne dà motivo la decisione dell'autorità inferiore (art. 99 cpv. 1 LTF; cfr. DTF 133 III 393 consid. 3).
2.3 Qualora sia lamentata la violazione del divieto d'arbitrio (art. 9 Cost.) non ci si può limitare a criticare la decisione impugnata opponendovi semplicemente la propria opinione, come in una procedura d'appello; occorre invece dimostrare con un'argomentazione chiara e dettagliata ch'essa è manifestamente insostenibile (DTF 134 II 244 consid. 2.2; 133 III 638). Per di più, trattandosi dell'apprezzamento delle prove o dell'accertamento dei fatti in genere, il giudice cantonale fruisce di un grande potere discrezionale. Chi invoca l'arbitrio deve pertanto dimostrare che la sentenza impugnata ha misconosciuto il senso e la portata di un mezzo di prova preciso, ha omesso senza ragioni valide di tenere conto di una prova importante suscettibile di modificare l'esito della lite, oppure ha ammesso o negato un fatto ponendosi in aperto contrasto con gli atti di causa o interpretando questi in modo insostenibile (DTF 129 I 8 consid. 2.1 e rif.).
3. La ricorrente lamenta la violazione degli art. 9 e 29 Cost. poiché la sentenza impugnata è insufficientemente motivata e non esamina in maniera critica tutte le argomentazioni addotte, in particolare quelle concernenti "un'operazione analoga presso D._" e una "conclusione istruttoria" sulla negoziabilità dei titoli.
3.1 Delle due norme solo l'art. 29 cpv. 2 Cost. è pertinente (l'art. 9 Cost. potrebbe esserlo solo se fosse messo in relazione con la lesione arbitraria di una disposizione del diritto ticinese). Esso offre una garanzia minima e sussidiaria rispetto al diritto processuale cantonale. Esige che l'autorità indichi le considerazioni che l'hanno portata a decidere in un senso piuttosto che in un altro, in modo da permettere al destinatario di capirne la portata e di proporre i rimedi adeguati con conoscenza di causa. Il giudice non deve necessariamente pronunciarsi su tutti gli argomenti e le prove che le parti propongono; è sufficiente che esamini i temi rilevanti per il giudizio (DTF 133 III 439 consid 3.3 a pag. 445 con rinvii).
3.2 La Corte ticinese ha indubbiamente rispettato queste esigenze minime: come si vedrà al considerando che segue, le motivazioni determinanti delle varie parti del giudizio d'appello sono esposte in modo chiaro, comprensibile e tale da permetterne l'impugnazione. Non bisogna confondere la completezza della motivazione con la mancata considerazione per motivi di merito di un'allegazione o di una prova.
La censura è pertanto infondata.
4. La Corte cantonale ha stabilito che la convenuta ha agito quale commissionaria (art. 425 segg. CO). Benché vi fosse una convenzione secondo la quale la banca s'impegnava a mettere a disposizione dell'attrice un "team qualificato di esperti" per consulenza e assistenza, "nel caso concreto l'attrice, la quale era pacificamente un'investitrice specializzata, non ha chiesto alcuna consulenza alla convenuta", che "è stata incaricata di unicamente occuparsi dell'esecuzione delle relative istruzioni in qualità di semplice commissionaria e non è al contrario stata richiesta di dare consigli, puntualizzazioni o chiarimenti sulla fattibilità o sulla tempistica, almeno prima che gli ordini stessi fossero impartiti". Da queste considerazioni i giudici ticinesi hanno dedotto che la banca non avesse un obbligo d'informazione particolare.
4.1 La ricorrente obietta che in forza della suddetta convenzione la banca metteva a disposizione "specifici servizi di supporto dell'investitore" e aveva quindi un obbligo di assistenza completo, persino accresciuto dal fatto che si rivolgeva a un investitore professionista. Si diffonde poi sul dovere del commissionario e del mandatario di seguire minuziosamente le istruzioni del cliente e ancora sull'obbligo della banca che si occupa degli ordini di acquisto e vendita di titoli d'informare e consigliare il cliente in modo professionale, sulla possibilità di discolparsi, sull'onere della prova, ecc. Nella fattispecie la convenuta - prosegue l'attrice - non ha rispettato questi doveri, per cui ha contravvenuto agli art. 397 cpv. 1 e 2 CO e si è resa inadempiente nel senso dell'art. 97 CO, incorrendo anche nella responsabilità per gli ausiliari dell'art. 101 CO.
4.2 Queste argomentazioni sono quasi avulse dalla motivazione della sentenza cantonale. Non è chiaro nemmeno se l'attrice contesti la qualificazione del contratto (per lo meno non lo fa espressamente). Ad ogni modo il ricorso ignora completamente gli elementi di fatto, riassunti sopra, che hanno permesso alla Corte cantonale di concludere che, nel caso specifico, alla banca è stato chiesto solo di seguire le istruzioni dell'attrice, non di prestare consulenza o darle chiarimenti sull'opportunità o la tempistica delle operazioni litigiose. L'attrice insiste semplicemente sul contenuto della convenzione, senza nemmeno tentare di dimostrare l'arbitrarietà di tali accertamenti, che rimangono pertanto vincolanti per il Tribunale federale (cfr. consid. 2.2).
4.3 Se l'incarico è stato limitato alle prestazioni accertate nella sentenza cantonale, è giusto qualificare il contratto di commissione (art. 425 cpv. 1 CO). Non sarebbe del resto stato indispensabile qualificare con precisione il rapporto giuridico esistente tra le parti, poiché, qualunque fosse la sua natura, i giudici ticinesi hanno respinto l'azione principalmente perché è mancata la prova del danno e del rapporto di causalità con il comportamento della convenuta. Per il medesimo motivo non è necessario approfondire quali sarebbero i doveri d'informazione del commissionario verso il committente.
5. L'autorità ticinese ha in effetti passato in rassegna le asserite negligenze e le omissioni, riferite alle diverse fasi dell'operazione finanziaria, sulle quali l'attrice fonda la responsabilità della banca.
5.1 Si tratta in primo luogo dell'erroneità dell'informazione data dalla convenuta nel febbraio 2000, secondo cui l'ordine di convertire le obbligazioni in azioni non era eseguibile, nonché dell'inesecuzione stessa di tale ordine. I giudici ticinesi hanno osservato che la convenuta ha comunque fatto proseguire l'ordine alla sua corrispondente, la quale ha confermato l'impossibilità temporanea di eseguirlo: di conseguenza non v'è causalità tra l'informazione iniziale della banca e un'eventuale pregiudizio. Per la Corte cantonale, siccome la corrispondente agiva con il consenso dell'attrice, l'art. 399 cpv. 2 in relazione con l'art. 425 cpv. 2 CO impedisce che la convenuta possa essere chiamata a rispondere del fatto che l'ordine non sia stato eseguito. Del resto l'attrice non ha fatto valere danni per il ritardo dell'esecuzione della conversione.
5.2 Anche a proposito dell'istruzione dell'agosto 2000 di vendere le azioni l'attrice rimprovera alla convenuta difetto d'informazione e inesecuzione. La Corte cantonale ha rilevato che l'attrice non ha contestato l'obiezione di risposta e duplica, comunque provata, di avere fatto proseguire anche tale ordine alla sua corrispondente, del cui operato la convenuta non risponde.
5.3 V'è poi l'ordine non eseguito del settembre/ottobre 2000 di "revocare l'istruzione di conversione delle obbligazioni in azioni". Scopo di quell'ordine, a mente dei giudici d'appello, era di mantenere nel portafoglio le obbligazioni, delle quali l'attrice non ha però mai chiesto la vendita: l'attrice, se fosse rimasta in possesso delle obbligazioni, non le avrebbe comunque vendute almeno fino al 5 dicembre 2000, per cui la perdita di valore dei titoli intervenuta nel frattempo non può essere addebitata alla convenuta. I giudici ticinesi hanno aggiunto che l'attrice non ha neppure provato il danno che afferma di avere subito per essere rimasta in possesso di azioni invece che di obbligazioni, non essendo il perito giudiziario stato in grado di "stimare con cognizione di causa" il corso dell'obbligazione Highpoint nel momento determinante.
5.4 Il Tribunale di appello si è in seguito chinato sul rimprovero rivolto alla convenuta di non avere eseguito l'ordine dell'8 dicembre 2000 "volto a ottenere lo storno della conversione in azioni nel frattempo intervenuta". A questo proposito ha osservato che l'attrice d'un canto non ha mai indicato se e quando avrebbe rivenduto le obbligazioni che avrebbe recuperato se l'ordine fosse stato eseguito; dall'altro che non ha comunque provato il danno, perché il perito giudiziario non ha saputo stabilire l'evoluzione del valore dell'obbligazione.
5.5 Infine i giudici ticinesi hanno ritenuto irricevibile in forza dell'art. 78 CPC/TI, perché formulata per la prima volta con le conclusioni, l'allegazione di non avere ordinato la vendita delle azioni poiché la convenuta aveva indicato a torto nei conteggi dei clienti che i tioli erano gravati da un divieto di rivendita. Hanno nondimeno soggiunto che quell'informazione, della quale era semmai responsabile ancora la corrispondente sostituitasi alla convenuta, fosse anche stata errata, non aveva causato danni all'attrice.
6. La ricorrente critica nell'ordine le varie parti di questa motivazione, tranne l'ultima. Lo fa però con una discussione libera, per lo più opponendovi solo le proprie valutazioni e considerazioni.
6.1 Per quanto attiene allo stato di fatto gli argomenti ricorsuali non poggiano sugli accertamenti della sentenza impugnata né motivano censure puntuali d'arbitrio, come sarebbe necessario per scostarsene (cfr. consid. 2.3): riferendosi abbondantemente ai riscontri d'istruttoria la ricorrente dichiara ripetutamente di avere dimostrato o provato le circostanze a suo giudizio determinanti - in specie quelle riguardanti il nesso causale naturale e il danno, che attengono entrambe ai fatti (DTF 130 III 591 consid. 5.3 a pag. 601, 122 III 219 consid. 3b) - come se fosse davanti a un'istanza d'appello. Più avanti spiega invero cosa sia l'arbitrio (art. 9 cpv. 2 Cost.) in materia di valutazione delle prove, ma subito dopo si diffonde nuovamente in disquisizioni su fatti diversi da quelli della sentenza d'appello, affermando che la banca ha dato informazioni errate, ha leso i precetti della buona fede, e sostenendo ancora di avere provato il danno.
Queste critiche ai fatti sono nel loro complesso inammissibili.
6.2 All'inizio del capitolo intitolato "In diritto" la ricorrente elenca le norme del diritto federale che a suo dire sono state violate dall'autorità cantonale: gli art. 2 e 8 CC, 97 segg., 394 segg. e 425 segg. CO (oltre agli art. 9 e 29 Cost. già esaminati). Nella misura in cui in queste norme l'attrice vede il titolo di responsabilità della convenuta, le sue tesi sono infondate, giacché, secondo gli accertamenti vincolanti dei quali s'è detto, non ne sono adempiuti i presupposti di fatto essenziali, ossia il danno e il nesso causale naturale. Va aggiunto che non è affatto vero, come sostiene di passaggio l'attrice, senza peraltro precisare tale censura, che la Corte cantonale le ha imposto di provare anche una colpa, violando l'art. 97 CO. Rimane l'art. 8 CC. L'attrice ne lamenta la violazione in relazione con un onere probatorio sproporzionato che l'autorità cantonale avrebbe posto a suo carico quanto alla prova del rapporto di causalità. Gli sfugge tuttavia che questa norma non interferisce sull'apprezzamento delle prove, che è di competenza del giudice cantonale, ma regola le conseguenze della mancata prova di un fatto (DTF 130 III 321 consid. 3.1 e 127 III 519 consid. 2a). Siccome nella responsabilità contrattuale l'onere di provare il danno e il nesso causale incombe indubbiamente sul danneggiato, i giudici cantonali, addossando all'attrice le conseguenze del fallimento della prova di tali elementi, hanno applicato correttamente il diritto federale.
7. Da ultimo l'attrice ritiene eccessive le indennità per ripetibili accordate alla controparte dalle due istanze ticinesi. La questione è retta dal diritto cantonale, per cui l'attrice doveva prevalersi in modo chiaro dell'applicazione arbitraria delle disposizioni specifiche del codice di procedura civile ticinese, prim'ancora che dei principi giurisprudenziali generali ai quali ricorre. Anche questa censura è pertanto inammissibile.
8. Ne viene che il gravame, nella limitata misura in cui è ammissibile, è infondato.
Le spese giudiziarie e le ripetibili seguono la soccombenza: esse sono pertanto poste a carico della ricorrente (art. 66 cpv. 1 e 68 cpv. 1 e 2 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Il ricorso in materia civile, nella misura in cui è ammissibile, è respinto.
2. Le spese giudiziarie di fr. 16'000.-- sono poste a carico della ricorrente, la quale rifonderà all'opponente fr. 18'000.-- per ripetibili della sede federale.
3. Comunicazione ai patrocinatori delle parti e alla Seconda Camera civile del Tribunale d'appello del Cantone Ticino.