Faits:
A. X._, domicilié à Nassau (Bahamas), était titulaire de parts de copropriété d'un immeuble à Genève. Différents prêts lui ont été accordés, garantis par des cédules hypothécaires constituées sur ces biens immobiliers.
Le 16 avril 2004, Y._ SA, ayant son siège à ..., a conclu avec X._ un contrat de prêt portant sur la somme de 12'700'000 fr. au taux d'intérêt fixe de 4% l'an pour une durée de sept ans, soit jusqu'au 30 avril 2011. Ce prêt était garanti par des cédules hypothécaires sur les biens immobiliers déjà évoqués. Il était indiqué qu'il ne pouvait pas être dénoncé au remboursement partiel ou total avant la date de l'échéance. La prêteuse se réservait toutefois le droit de dénoncer le prêt au remboursement dans certaines hypothèses énumérées, en particulier si l'objet gagé venait à être aliéné. Dans un tel cas, le ch. 5 des conditions générales (auquel le contrat renvoie) prévoit que la prêteuse est en droit de facturer au débiteur le dédit contractuellement prévu ou la « perte d'intérêts constatée ».
Le 30 août 2006, X._ a informé Y._ SA qu'il avait l'intention de vendre l'immeuble et de rembourser le prêt de 12'700'000 fr. La prêteuse a répondu en indiquant le montant qu'elle estimait dû en cas de remboursement anticipé. Les parties sont entrées en litige sur la manière de déterminer la somme due.
X._ a décidé néanmoins de vendre ses parts de copropriété. Y._ SA lui a fait parvenir, le 6 octobre 2006, un décompte final, mentionnant une indemnité pour remboursement anticipé de 867'304 fr.15. X._ a contesté ce dernier chiffre, mais, la prêteuse retenant les cédules hypothécaires, le montant a été finalement payé sous toutes réserves et l'acte de vente de l'immeuble a été signé le 11 octobre 2006.
Le 5 octobre 2007, X._ a déclaré qu'il invalidait partiellement l'acte de résiliation anticipée pour crainte fondée, subsidiairement pour lésion, et il a réclamé la restitution de 662'667 fr.15 correspondant à la différence entre sa méthode de calcul et celle appliquée par la prêteuse.
B. Par demande déposée le 3 octobre 2008 devant la juridiction genevoise (dont la compétence a été expressément acceptée par la prêteuse), X._ a conclu à ce que Y._ SA soit condamnée à lui restituer, en raison d'une invalidation partielle pour crainte fondée ou lésion, la somme de 662'667 fr.15 avec intérêts à 5% dès le 11 octobre 2006.
Y._ SA s'est opposée à la demande en totalité.
Par jugement du 9 mars 2010, le Tribunal de première instance de Genève a débouté X._ de toutes ses conclusions.
Saisie d'un appel formé par X._ (qui reprenait ses conclusions de première instance auxquelles sa partie adverse était totalement opposée), la Chambre civile de la Cour de justice du canton de Genève, par arrêt du 31 mai 2011, a confirmé le jugement attaqué.
C. X._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Se plaignant essentiellement d'une mauvaise interprétation du ch. 5 des conditions générales, mais évoquant également une violation des art. 43 al. 1 et 81 al. 2 CO, ainsi que 8 CC et 9 Cst., il conclut à l'annulation de l'arrêt attaqué et à la condamnation de sa partie adverse à lui payer la somme de 662'667 fr.15 avec intérêts à 5% dès le 11 octobre 2006; subsidiairement, il demande le renvoi de la cause à la cour cantonale.
L'intimée propose l'irrecevabilité, subsidiairement le rejet du recours constitutionnel subsidiaire et le rejet du recours en matière civile.
La Cour de justice a formulé des observations en indiquant qu'elle avait procédé à une interprétation de la clause litigieuse selon le principe de la confiance.
Considérant en droit:
1. 1.1 La valeur litigieuse, selon les conclusions qui restaient contestées devant l'autorité précédente (art. 51 al. 1 let. a LTF), atteint manifestement le seuil de 30'000 fr., exigé pour un recours en matière civile au Tribunal fédéral (art. 74 al. 1 let. b LTF). Cette voie de recours permet de se plaindre d'une violation du droit fédéral (art. 95 let. a LTF) et donc également d'une violation du droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313). Il en résulte que le recours constitutionnel, qui est subsidiaire (art. 113 LTF), n'est pas recevable.
1.2 Interjeté par la partie qui a succombé dans ses conclusions en paiement et qui a donc qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours en dernière instance cantonale (art. 75 LTF), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.3 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF.
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 1.4 p. 317 s.; 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF). Si l'interdiction de l'arbitraire (art. 9 Cst.) est invoquée, il faut montrer de manière précise en quoi la décision attaquée serait manifestement insoutenable (ATF 134 II 244 consid. 2.2 p. 246).
1.4 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter qu'aux conditions posées par l'art. 105 al. 2 LTF. En l'espèce, le recourant admet expressément l'état de fait cantonal et on ne voit pas de raison de s'en écarter d'office. En conséquence, le raisonnement juridique doit être mené sur la base des constatations cantonales.
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. En raison du domicile à l'étranger de l'emprunteur, la cause revêt un caractère international et la question du droit applicable doit être examinée d'office par le Tribunal fédéral (ATF 4A_325/2011 du 11 octobre 2011 consid. 2.1; 136 III 142 consid. 3.2 p. 144 et les arrêts cités).
La question doit être tranchée selon le droit international privé du for et la qualification du rapport juridique litigieux doit être effectuée selon le droit interne du for (ATF 136 III 142 consid. 3.2 p. 144 et les arrêts cités).
Selon l'état de fait cantonal - qui lie le Tribunal fédéral (art. 105 al. 1 LTF) -, les parties sont convenues que l'intimée mettait à disposition du recourant un montant de 12'700'000 fr. pendant une durée de sept ans, tandis que le recourant s'obligeait envers l'intimée à restituer la somme à l'échéance et à verser en sus un intérêt annuel de 4%. Selon le droit interne du for, les parties ont conclu un prêt de consommation (art. 312 CO). Aucune élection de droit n'ayant été constatée par la cour cantonale (cf. art. 116 LDIP), il faut en déduire que le droit suisse est applicable en l'espèce, en tant que loi de l'Etat dans lequel se trouve l'établissement de la prêteuse, laquelle fournit la prestation caractéristique (cf. art. 117 al. 3 let. b LDIP).
3. 3.1 Dans l'arrêt déféré, la cour cantonale a constaté (art. 105 al. 1 LTF) que la vente de l'objet du gage permettait à la prêteuse, selon les dispositions contractuelles, de mettre fin au contrat avant l'échéance. D'ailleurs, le recourant a lui-même manifesté la volonté de rembourser le prêt et de solder ses comptes avec l'intimée avant l'échéance contractuelle fixée au 30 avril 2011. Le principe d'une interruption prématurée du contrat n'est donc pas litigieux. Le recourant ne reprend pas devant le Tribunal fédéral son argumentation concernant la crainte fondée ou la lésion, de sorte qu'il faut constater que ces moyens - qui ont été rejetés par la cour cantonale - ne sont plus en discussion et qu'il n'y a pas lieu d'y revenir (cf. consid. 1.3 ci-dessus).
La cour cantonale a relevé en fait (art. 105 al. 1 LTF) que le contrat conclu prévoyait le paiement par l'emprunteur d'un intérêt annuel de 4% (cf. art. 313 et 314 CO). Le contrat a été passé pour une durée de sept ans (soit jusqu'au 30 avril 2011), sans permettre à l'emprunteur de rembourser prématurément à sa convenance. Pour l'autorité cantonale, lorsqu'un prêt commercial a été conclu à terme fixe - comme c'est le cas en l'espèce -, les obligations de l'emprunteur consistent à payer des intérêts aux échéances prévues et à rembourser le montant prêté au terme du contrat; s'il rembourse le prêt de manière anticipée, l'emprunteur reste en principe redevable des intérêts jusqu'à la fin du contrat (arrêt 4A_229/2007 du 7 novembre 2007 consid. 4.1, in SJ 2008 I p. 167).
La cour cantonale a admis que le contrat incorporait des conditions générales, lesquelles stipulaient, au ch. 5, que l'emprunteur devait, dans le cas où le prêt prendrait fin prématurément, payer un dédit contractuellement prévu ou la perte d'intérêts constatée. Comme aucun dédit n'a été prévu au contrat, la prêteuse a droit, selon la disposition contractuelle, à la perte d'intérêts constatée. A considérer ces éléments, l'autorité cantonale a jugé que l'intimée n'a pas enfreint le contrat de prêt en encaissant une indemnité pour résiliation anticipée se montant à 867'304 fr.15.
3.2 Les parties sont en divergence sur le sens qu'il convient d'attribuer à la notion de « perte d'intérêts constatée » du ch. 5 desdites conditions générales.
3.2.1 En présence d'un litige sur l'interprétation d'une disposition contractuelle, le juge doit tout d'abord s'efforcer de déterminer la commune et réelle intention des parties, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la nature véritable de la convention (art. 18 al. 1 CO; ATF 135 III 410 consid. 3.2 p. 412 s.).
Déterminer ce qu'un cocontractant savait ou voulait au moment de conclure relève des constatations de fait; la recherche de la volonté réelle des parties est qualifiée d'interprétation subjective (ATF 131 III 606 consid. 4.1 p. 611). Si le juge parvient à établir une volonté réelle et concordante des parties, il s'agit d'une constatation de fait qui lie en principe le Tribunal fédéral conformément à l'art. 105 LTF (ATF 135 III 410 consid. 3.2 p. 413).
Si la volonté réelle des parties ne peut pas être établie ou si leurs volontés intimes divergent, le juge doit interpréter les déclarations faites et les comportements selon la théorie de la confiance; il doit donc rechercher comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances (on parle alors d'une interprétation objective); le principe de la confiance permet ainsi d'imputer à une partie le sens objectif de ses déclarations ou de son comportement, même s'il ne correspond pas à sa volonté intime. L'application du principe de la confiance est une question de droit que le Tribunal fédéral peut examiner librement (art. 106 al. 1 LTF); cependant, pour trancher cette question, il doit se fonder sur le contenu des manifestations de volonté et sur les circonstances dont la constatation relève du fait (ATF 135 III 410 consid. 3.2 p. 413). Relève aussi du droit le principe selon lequel l'interprétation subjective a la priorité sur l'interprétation objective (ATF 131 III 606 consid. 4.1 p. 611).
Le sens d'un texte apparemment clair n'est pas forcément déterminant, de sorte que l'interprétation purement littérale est prohibée; même si la teneur d'une clause contractuelle paraît limpide à première vue, il peut résulter d'autres conditions du contrat, du but poursuivi par les parties ou d'autres circonstances que le texte de ladite clause ne restitue pas exactement le sens de l'accord conclu; Il n'y a cependant pas lieu de s'écarter du sens littéral du texte adopté par les intéressés lorsqu'il n'existe aucune raison sérieuse de penser qu'il ne correspond pas à leur volonté (ATF 136 III 186 consid. 3.2.1 p. 188).
3.2.2 Envisageant en premier lieu une interprétation subjective - comme l'exige le droit fédéral -, la cour cantonale est parvenue à la conclusion qu'il n'était pas possible en l'espèce d'établir une réelle volonté concordante des parties.
Ella a donc procédé subsidiairement à une interprétation objective, c'est-à-dire une interprétation selon le principe de la confiance. Il s'agit, comme on vient de le voir, d'une question de droit que le Tribunal fédéral réexamine librement (art. 106 al. 1 LTF).
Dans le cas d'un prêt de consommation prévoyant des intérêts, l'emprunteur a une double obligation principale: d'une part, il doit rembourser à l'échéance le montant prêté et, d'autre part, il doit payer les intérêts convenus (cf. par ex. TERCIER/FAVRE, Les contrats spéciaux, 4e éd. 2009, ch. 3028 ss, p. 443 ss). Lorsque - comme c'est le cas en l'espèce - le contrat a été conclu pour une durée fixe sans permettre à l'emprunteur de rembourser prématurément le prêt à son gré, le prêteur peut compter recevoir l'intérêt jusqu'à l'échéance (arrêt 4A_229/2007 du 7 novembre 2007 consid. 4.1, in SJ 2008 I 167, cité par la cour cantonale).
Le prêt étant manifestement conclu dans le cadre de l'activité commerciale de l'intimée, il est évident que son intérêt économique réside dans la perception régulière de l'intérêt jusqu'à l'échéance. Recevoir l'intérêt convenu est, de manière reconnaissable, la raison pour laquelle l'intimée a accepté de conclure le contrat. Si l'emprunteur rembourse de manière anticipée, le prêteur pourrait se trouver privé des intérêts stipulés pour l'avenir, ce qui constituerait clairement pour lui un manque à gagner. La raison d'être de la clause litigieuse est parfaitement claire et compréhensible: il s'agit de procurer au prêteur une compensation pour les intérêts qu'il ne recevra plus à l'avenir, le prêt étant remboursé.
Lorsque la clause litigieuse parle des intérêts, on doit comprendre de bonne foi que ce terme vise les intérêts convenus, qui constituent l'une des obligations principales de l'emprunteur. La formule "perte d'intérêts" en relation avec un remboursement anticipé désigne manifestement le problème qui vient d'être évoqué, à savoir que l'emprunteur ne paiera plus les intérêts convenus à l'avenir et ceci jusqu'à l'échéance du contrat. En ce sens, le prêteur est exposé à perdre les intérêts convenus.
En disant que l'emprunteur doit, en cas de remboursement anticipé, payer la « perte d'intérêts constatée », la clause montre clairement que l'emprunteur, au moment du remboursement anticipé, a l'obligation de couvrir la perte d'intérêts résultant pour le prêteur du fait qu'il ne recevra pas les intérêts jusqu'à l'échéance. Ajouter que la perte d'intérêts doit être « constatée » vise probablement l'idée qu'il faut la déterminer en fonction du moment du remboursement anticipé, mais le terme "constatée" n'a manifestement pas une grande signification.
Il est vrai que si l'emprunteur rembourse prématurément le montant prêté et doit payer immédiatement la totalité des intérêts convenus jusqu'à l'échéance, le prêteur se trouve enrichi puisqu'il peut disposer de ces sommes avant le moment prévu. Il se pose alors le problème d'un escompte au sens de l'art. 81 al. 2 CO, comme l'évoque l'arrêt déjà cité. Il ressort cependant des constatations cantonales (art. 105 al. 1 LTF) que l'intimée en a tenu compte en réduisant fortement le taux d'intérêt pour l'avenir, conformément à la pratique bancaire qui réduit le taux convenu du taux d'intérêt applicable au moment de la résiliation anticipée pour un placement sur le marché monétaire ou des capitaux pour la durée résiduelle. Dire s'il existe un usage et quel en est le contenu relève des constatations de fait qui lient le Tribunal fédéral (ATF 128 III 22 consid. 2c p. 25; 113 II 25 consid. 1a p. 27). La déduction d'un escompte conforme à l'usage pour l'exécution anticipée respecte l'art. 81 al. 2 CO.
L'interprétation de la clause litigieuse opérée par la cour cantonale est conforme au sens des mots tels que le destinataire pouvait les comprendre; elle respecte l'économie du contrat, c'est-à-dire les intérêts respectifs des parties. Il n'apparaît ainsi pas que la cour cantonale ait violé les règles du droit fédéral sur l'interprétation des manifestations de volonté.
Le recourant voudrait se fonder sur la notion de dommage et reproche à l'intimée, en tant que lésé, de ne pas avoir fait tout ce qu'elle pouvait pour limiter son préjudice. Il ne s'agit cependant pas en l'espèce de dommages-intérêts pour la violation d'un contrat (art. 97 CO), mais de l'application de dispositions contractuelles qui permettaient la résiliation anticipée en obligeant l'emprunteur à fournir une prestation compensatoire. Il n'est donc pas question d'appliquer ici l'art. 43 al. 1 CO et l'obligation de réduire le dommage n'a aucune portée (cf. arrêt déjà cité). Le problème est bien que l'emprunteur s'est engagé à payer 4% par an jusqu'au 30 avril 2011 et qu'il ne veut plus le faire; le contrat prévoit l'hypothèse d'une vente de l'immeuble, mais oblige l'emprunteur, dans ce cas, à fournir une prestation compensatoire. On ne peut pas comprendre autrement la disposition litigieuse selon laquelle la prêteuse est en droit de facturer au débiteur le dédit contractuellement prévu ou la « perte d'intérêts constatée ». Si l'on devait suivre l'opinion du recourant, il suffirait que les taux d'intérêt n'aient pas varié sur le marché des prêts hypothécaires pour que l'emprunteur puisse rembourser en tout temps sans verser aucune compensation, et cela sans s'inquiéter de savoir si la prêteuse soit à même de trouver un autre client ou, à l'inverse, d'augmenter son volume de prêts et, par voie de conséquence, les gains réalisés. Cette interprétation ne peut pas être suivie.
3.3 Pour être complet, il faut ajouter que l'art. 17 de la loi fédérale du 23 mars 2001 sur le crédit à la consommation (LCC; RS.221.214.1) n'est pas applicable en l'espèce (art. 7 al. 1 let. a LCC).
Il a déjà été jugé qu'une application analogique des dispositions en matière de bail ou de contrat de travail ne se justifiait pas, parce que ces dispositions découlent de motifs de politique sociale qui ne sont pas transposables en matière de prêt (arrêt 4A_229/2007 du 7 novembre 2007 consid. 4.1, déjà cité).
Quant à l'art. 8 CC, invoqué par le recourant, on ne voit pas que la cour cantonale ait retenu un fait sans preuve et le recourant ne l'expose même pas, contrairement à l'exigence de motivation formulée à l'art. 42 al. 2 LTF.
Il en va de même a fortiori du grief d'arbitraire (art. 9 Cst.) dans l'appréciation des preuves. Le recourant se borne à dire qu'il conteste le montant réclamé, mais il ne démontre pas - contrairement aux exigences de l'art. 106 al. 2 LTF - en quoi les faits auraient été retenus de manière insoutenable, et encore moins que les calculs effectués seraient manifestement faux.
Partant, le recours en matière civile doit être rejeté.
4. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 8'500 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimée une indemnité de 9'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Cour de justice du canton de Genève, Chambre civile.
Lausanne, le 16 décembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet