Faits:
A. Il résulte d'un courrier de son directeur général daté du 9 décembre 1999 que Banque Y._ Ltd (in receivership), devenue par la suite Banque Y._ Ltd (in liquidation), un établissement bancaire dont le siège est dans la République de ..., a ouvert un compte auprès de la Banque A._ SA, devenue ultérieurement la Banque X._ SA, un établissement bancaire dont le siège est à Genève.
Selon les explications données par Banque Y._, l'ouverture de ce compte avait pour but d'effectuer des dépôts à vue, en tant que placements interbancaires, repayables à première demande.
Banque Y._ a fait transférer les sommes de 1'000'000 USD, 500'000 USD et 1'500'000 USD en date des 20 et 22 décembre 1999 et 25 janvier 2000 sur son compte N° 415 018 ouvert auprès de la Banque A._.
Le 11 mai 2001, Banque Y._, sous la signature de son directeur général, a invité la Banque A._ à transférer 1'235'441,12 USD sur un de ses comptes auprès d'un autre établissement bancaire et a réinvestir la somme de 2'000'000 USD. La Banque A._ s'y est refusée en invoquant des instructions contraires. Le 16 mai 2001, Banque Y._, toujours sous la signature de son directeur général, a réitéré ses demandes de virement à la Banque A._.
Le 18 mai 2001, la Banque A._ a informé Banque Y._ qu'elle n'exécuterait pas l'ordre parce que les avoirs figurant sur le compte avaient été remis en nantissement pour garantir la créance que la Banque A._ avait à l'encontre de K._, qui était précédemment président et actionnaire majoritaire de Banque Y._ et auquel la Banque A._ avait accordé un prêt personnel de 3'000'000 USD.
Banque Y._ conteste avoir remis en gage ces avoirs auprès de la Banque A._ pour garantir une dette personnelle de K._ à l'égard de cette dernière.
Le 15 mai 2001, K._ avait quitté ses fonctions de président de Banque Y._ à la demande de la Banque de ..., entité de supervision et de régulation des banques commerciales de ....
Le 15 mars 2002, la Cour suprême de la République de ... a placé Banque Y._ sous administration judiciaire et a désigné un administrateur judiciaire de la banque.
Au 11 avril 2002, les avoirs détenus par Banque Y._ auprès de la Banque A._ se montaient à 38'623,07 USD en compte-courant et 3'235'441,12 USD en placements.
Le 19 avril 2002, Banque Y._ a donné instruction à la Banque A._ de transférer l'ensemble de ses avoirs sur un compte ouvert auprès d'un autre établissement bancaire.
Le 23 avril 2002, la Banque A._ a refusé d'exécuter cet ordre, au motif que les avoirs avaient été déposés en garantie d'un prêt accordé à un tiers (K._).
B. Par acte déposé au greffe du Tribunal de première instance de Genève le 3 février 2004, Banque Y._ a assigné la Banque A._ en paiement de ses avoirs déposés auprès d'elle.
La Banque A._ s'est opposée à la demande, motif pris du nantissement en sa faveur des fonds déposés par Banque Y._ en garantie d'un prêt octroyé à K._, directeur, président et actionnaire majoritaire de cette dernière.
Par jugement du 3 février 2011, le Tribunal de première instance a condamné la Banque X._ SA - nouvelle dénomination de la Banque A._ - à verser à Banque Y._ Limited (in liquidation) la somme de 3'235'441,12 USD avec intérêts à 5 % l'an dès le 19 avril 2002, ainsi que la somme de 38'623,07 USD avec intérêts à 5 % l'an dès le 19 avril 2002, avec suite de dépens.
La Banque B._ a fait appel de ce jugement, concluant au rejet des prétentions de sa partie adverse. Banque Y._ a conclu à la confirmation du jugement attaqué.
Par arrêt du 13 avril 2012, la Chambre civile de la Cour de justice du canton de Genève a confirmé le jugement entrepris, statuant par ailleurs sur les frais et dépens. A titre d'argumentation principale, la cour cantonale a retenu que la Banque B._ n'était parvenue à prouver ni l'existence d'un nantissement en sa faveur, ni l'existence de sa créance à l'encontre de K._.
C. La Banque B._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 13 avril 2012. Invoquant une violation de l'<ref-law>, une violation arbitraire (art. 9 Cst.) de l'art. 126 de la Loi genevoise de procédure civile, ainsi que l'arbitraire dans l'appréciation des preuves et l'établissement des faits, elle conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au déboutement de sa partie adverse, subsidiairement au renvoi de la cause à la cour cantonale. Sa requête d'effet suspensif a été admise, faute d'opposition, par ordonnance présidentielle du 12 juin 2012.
La banque intimée a conclu au rejet du recours avec suite de frais et dépens.
Les parties ont répliqué et dupliqué.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions libératoires et qui a donc qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>), rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours en dernière instance cantonale (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>), le recours en matière civile est recevable, puisqu'il a été déposé en temps utile (art. 45 al. 1, 48 al. 1 et 100 al. 1 LTF) et dans la forme requise par la loi (<ref-law>).
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé également pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 316).
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 4 p. 317 s.; <ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le tribunal n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 187). La partie recourante qui se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit présenter une motivation répondant aux exigences de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 En raison du siège dans la République de ... de l'intimée, la cause revêt un caractère international et le Tribunal fédéral doit déterminer d'office quel est le droit applicable (<ref-ruling> consid. 3.2.1 p. 144; <ref-ruling> consid. 4 p. 614, 626 consid. 2 p. 629).
La question doit être tranchée selon le droit international privé du for (<ref-ruling> consid. 3.2.1 p. 144; <ref-ruling> consid. 2 p. 663). La qualification des rapports juridiques litigieux doit être effectuée selon le droit interne du for (<ref-ruling> consid. 3.2.1 p. 144; <ref-ruling> consid. 4 p. 615).
En ouvrant un compte auprès de la banque recourante, en lui confiant des fonds et en la chargeant de divers placements, l'intimée a noué avec la recourante un rapport juridique complexe comprenant les éléments caractéristiques d'un compte-courant (pour le décompte des opérations), d'un dépôt irrégulier (pour les fonds remis), d'un mandat (au moins pour la gestion administrative des titres) et d'une commission (pour l'achat ou la vente de titres au nom de la banque) (<ref-ruling> consid. 4 p. 380; arrêt 4C.387/2000 du 15 mars 2001 consid. 2a publié in SJ 2001 I p. 525). Dès lors qu'aucune élection de droit n'a été établie (cf. <ref-law>), ce rapport juridique est soumis au droit suisse, en tant que loi du siège de la banque recourante qui fournit la prestation caractéristique (art. 117 al. 1, 2 et 3 let. c et d LDIP).
En l'absence d'élection de droit, la mise en gage des créances découlant de ce rapport bancaire est également régie par le droit suisse, en tant que loi du siège de la banque recourante qui est la prétendue créancière gagiste (<ref-law>). Il en va de même pour le prétendu prêt de consommation qui aurait été accordé par la banque recourante au tiers (K._) (<ref-law>; <ref-ruling> consid. 3a p. 495).
2.2 En l'absence d'une disposition spéciale instituant une présomption, l'<ref-law> répartit le fardeau de la preuve pour toutes les prétentions fondées sur le droit fédéral et détermine, sur cette base, laquelle des parties doit assumer les conséquences de l'échec de la preuve (<ref-ruling> consid. 2.6 p. 24; <ref-ruling> consid. 2a p. 522). Il en résulte que la partie demanderesse doit prouver les faits qui fondent sa prétention, tandis que sa partie adverse doit prouver les faits qui entraînent l'extinction ou la perte du droit (<ref-ruling> consid. 3.1 p. 323). L'<ref-law> ne prescrit cependant pas comment les preuves doivent être appréciées et sur quelles bases le juge peut forger sa conviction (<ref-ruling> consid. 2d; <ref-ruling> consid. 3a p. 253).
En l'espèce, il n'est pas contesté que l'intimée a ouvert un compte auprès de la banque recourante, qu'elle lui a transféré des fonds et qu'elle a ordonné divers placements, de sorte que la banque recourante lui est en principe redevable des avoirs portés en compte ou figurant dans le portefeuille lié au compte.
La banque recourante conteste que son obligation de restitution soit exigible en faisant valoir qu'elle est en droit de retenir les avoirs en vertu d'un contrat de gage mobilier (nantissement) conclu entre la banque recourante et l'intimée.
L'existence de ce contrat de gage mobilier (<ref-law>) est contestée et constitue l'objet du litige.
Dès lors que la banque recourante invoque l'existence du contrat de gage pour se libérer de son obligation de restituer, il lui incombe d'apporter la preuve des faits permettant de constater l'existence d'une telle convention.
2.3 Préalablement à ses arguments touchant le fond du litige, la banque recourante invoque une violation de l'<ref-law>.
Cette disposition prévoit que, si la dette est exprimée dans une monnaie qui n'est pas la monnaie du pays du lieu de paiement, elle peut être acquittée en monnaie du pays au cours du jour de l'échéance, à moins que l'exécution littérale du contrat n'ait été stipulée par les mots " valeur effective " ou par quelqu'autre complément analogue. Sauf stipulation précise, le débiteur a donc le choix de se libérer dans la monnaie convenue ou dans la monnaie du lieu de paiement; ce choix appartient au débiteur, et non au créancier, lequel ne peut demander un paiement que dans la monnaie du contrat (<ref-ruling> consid. 2.2 p. 154).
En l'espèce, il n'est pas contesté que le compte de l'intimée auprès de la banque recourante a été ouvert en dollars US et qu'il était tenu dans cette monnaie. Il faut donc en déduire qu'il s'agit de la devise convenue, de sorte que les avoirs doivent être restitués dans cette monnaie. En tant que créancière, l'intimée ne peut pas réclamer un paiement dans une autre monnaie, puisque le choix ouvert par l'<ref-law> n'appartient qu'au débiteur.
Le Tribunal de première instance a condamné la banque recourante à restituer les avoirs en dollars US. L'intimée a conclu en appel à la confirmation de ce jugement et la cour cantonale l'a effectivement confirmé. Ainsi, la banque recourante a été condamnée à payer dans la monnaie du contrat et, la banque recourante n'ayant pas offert de payer en francs suisses, on ne discerne aucune violation de l'<ref-law>.
En réalité, la banque recourante fait valoir qu'en première instance, l'intimée avait demandé la contre-valeur en francs suisses des montants qu'elle indiquait en dollars, alors que le choix entre les deux monnaies, en tant que créancière, ne lui appartenait pas. Savoir si le juge est strictement lié par les conclusions prises ou s'il peut, à certaines conditions, s'en écarter ou les rectifier est une question de procédure.
Or, la procédure devant le Tribunal de première instance était encore régie par le droit cantonal (<ref-law>). L'<ref-law> invoqué par la recourante n'était donc pas applicable. Le recours en matière civile n'est pas ouvert pour se plaindre d'une violation du droit cantonal (art. 95 et 96 LTF). Certes, la banque recourante pourrait, en invoquant l'art. 9 Cst., faire état d'une violation arbitraire du droit cantonal (cf. <ref-ruling> consid. 2.1 p. 3; <ref-ruling> consid. 5.1 p. 21 s., 67 consid. 2.2 p. 69). Cependant, le Tribunal fédéral n'examine pas d'office une question relevant du droit cantonal (<ref-law>). Comme la banque recourante n'indique pas quelle disposition de droit cantonal aurait été violée arbitrairement, il n'y a pas lieu d'entrer en matière sur le grief, faute d'une motivation suffisante (cf. <ref-ruling> consid. 2a p. 3).
2.4 Invoquant une violation arbitraire (art. 9 Cst.) de l'art. 126 de la Loi genevoise de procédure civile, la banque recourante reproche à la cour cantonale de ne pas avoir admis l'existence du prêt qu'elle allègue avoir accordé au tiers, en considérant que ce point de fait n'avait pas été valablement contesté.
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable. Le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 2.2.2 p. 318 s.; <ref-ruling> consid. 4.2 p. 560).
Il n'est pas contesté que la banque recourante a allégué l'existence de ce prêt. L'intimée explique - sans que cela soit contesté dans la réplique - qu'elle a simplement répondu qu'elle n'avait pas connaissance de ces faits qui se sont déroulés entre des tiers. Dans la mesure où elle n'avait pas connaissance des faits, on ne voit pas ce qu'elle pouvait répondre d'autre. Mentionner une ignorance ne peut raisonnablement pas être interprété comme un aveu ou une acceptation du fait. Il ne s'agit pas non plus d'une réponse évasive, puisque l'intimée a indiqué de manière précise l'état de ses connaissances. En déduisant que les faits n'étaient pas admis et qu'il incombait donc à la banque recourante d'apporter la preuve des faits qu'elle invoquait pour se libérer, on ne voit pas que la cour cantonale ait fait une interprétation arbitraire - au sens qui vient d'être rappelé - de la disposition de procédure cantonale citée par la recourante.
2.5 Dans la plus grande partie de ses écritures, la recourante se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits.
2.5.1 L'appréciation des preuves, en vue de déterminer si un allégué est établi ou au contraire non prouvé, est une opération de l'esprit que l'on rattache à l'établissement des faits, et non pas à l'application des règles de droit. Elle ne peut donc être remise en cause par la recourante qu'aux conditions de l'<ref-law>, en particulier en démontrant, par une argumentation précise (<ref-law>), que l'appréciation des preuves a été arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356).
L'appréciation des preuves n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait une déduction insoutenable (ATF <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 2.1 p. 9).
2.5.2 La recourante se méprend sur le rôle du Tribunal fédéral, qui est un juge du droit et non du fait. Le recours est conçu pour poser des questions juridiques. Si un fait a été retenu ou écarté arbitrairement, la partie recourante doit en faire la démonstration, par une argumentation précise, en se référant si possible à des pièces du dossier (cf. <ref-ruling> consid. 4.1.2 p. 62).
En l'espèce, la recourante confond manifestement le Tribunal fédéral avec une cour d'appel, puisqu'elle extrait de nombreux éléments du dossier, dont elle discute la valeur probante, en vue de faire admettre un état de fait différent de celui retenu par la cour cantonale. Or, le rôle du Tribunal fédéral n'est précisément pas de réexaminer l'ensemble des preuves apportées, de les apprécier et d'établir son propre état de fait.
2.5.3 La recourante fait grief à la cour cantonale de s'être basée exclusivement sur des témoignages dont la crédibilité serait douteuse. Ce reproche est d'emblée infondé. Il suffit de lire l'arrêt cantonal pour constater que la cour s'est principalement fondée sur l'absence de production, de la part de la recourante, des pièces normalement émises en cas d'octroi d'un prêt ou d'acte de nantissement (cf. consid. 4.2.1 p. 11 et 4.2.2 p. 13 de l'arrêt attaqué).
Selon la pratique bancaire usuelle, la conclusion d'un contrat de gage mobilier portant sur des avoirs s'élevant à plusieurs millions de dollars suppose normalement l'établissement d'un acte de nantissement écrit, propre à permettre à la banque d'établir son droit. De la même manière, l'octroi d'un prêt de trois millions de dollars implique normalement l'établissement d'un contrat écrit, permettant à la banque d'établir sa créance en remboursement. De surcroît, la créance en remboursement n'existe que si les fonds ont été effectivement prêtés; or, on ne conçoit pas qu'un transfert de trois millions de dollars ne laisse aucune trace comptable et ne donne lieu à l'émission d'aucun document.
A supposer que la banque recourante, pour d'obscures raisons, ait tenu à garder cette opération extrêmement secrète, elle doit aujourd'hui subir les conséquences de son absence de preuve.
L'absence de tout document probant est à ce point insolite que la cour cantonale pouvait en déduire, sans arbitraire, que l'accord de volonté portant sur le prêt, le transfert des fonds prêtés et l'accord sur la constitution d'un gage mobilier étaient douteux.
Si l'on retient en fait, faute de preuve, qu'il n'y a pas eu de prêt accordé au tiers, qu'aucune somme prêtée n'a été remise à ce dernier et qu'il n'y a pas eu d'accord avec l'intimée au sujet d'un nantissement de ses avoirs, il en résulte nécessairement que l'objection formée par la banque recourante, qui avait le fardeau de la preuve, doit être écartée et que celle-ci doit être condamnée à restituer les avoirs qu'elle détient pour le compte de l'intimée.
2.5.4 Il n'est ainsi pas nécessaire de discuter les autres éléments de preuve évoqués dans le recours, ni les autres arguments développés à titre corroboratif par la cour cantonale.
La question de droit étranger soulevée par la recourante (sur les pouvoirs du tiers) est sans pertinence.
La recourante a fait grand cas de la coïncidence de dates entre l'ouverture du compte et l'octroi du prêt au tiers. La cour cantonale ayant cependant retenu, sans arbitraire, que l'octroi du prêt n'était pas prouvé, cet argument perd toute consistance. Il en va de même pour la coïncidence entre le montant déposé et le montant prêté. La recourante a aussi invoqué, avec insistance, la coïncidence de montant avec un document parlant de trois millions de dollars US. Il faut cependant constater que ce document est particulièrement obscur et qu'il ne permet pas de déduire une volonté de l'intimée de nantir ses avoirs pour garantir une créance de la banque recourante à l'encontre du tiers mentionné. Les hypothèques invoquées de manière confuse n'établissent pas l'existence du nantissement litigieux, c'est-à-dire la volonté de l'intimée de constituer un gage sur ses avoirs pour garantir la créance qu'aurait la banque recourante à l'égard d'un tiers; elles ne conduisent pas non plus à réduire le montant que la recourante doit restituer en vertu de la relation bancaire conclue entre les parties.
L'ensemble de l'argumentation présentée par la recourante, fortement appellatoire, ne permet pas de constater que la cour cantonale aurait statué arbitrairement en concluant que la banque recourante n'était pas parvenue à prouver, sans que subsistent des doutes irréductibles, l'existence d'un accord de volonté portant sur le droit de gage qu'elle invoque pour ne pas restituer les avoirs de l'intimée.
3. Il résulte des considérations qui précèdent que le recours doit être rejeté.
Les frais judiciaires et les dépens sont mis à la charge de la recourante qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 20'000 fr., sont mis à la charge de la recourante.
3. La recourante versera à l'intimée une indemnité de 22'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre civile.
Lausanne, le 30 octobre 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget