Faits :
A.
Depuis 1994, au cours de trois opérations immobilières - à Thônex (Genève,...), Nyon (Vaud,...) et Chancy (Genève,...) -, X._, professionnel expérimenté du marché immobilier, et la Banque A._ (ci-après: A._) se sont engagés dans une relation contractuelle qui est ensuite devenue litigieuse.
A.a. Les parcelles concernées par l'opération immobilière de Thônex étaient à l'origine propriétés de sociétés dont X._ était actionnaire; elles avaient été acquises à l'époque au moyen de prêts accordés par A._ aux sociétés et à X._ personnellement (codébiteur).
Ces parcelles ont été mises aux enchères forcées et X._, alors déjà surendetté, les a acquises en son nom. Pour cette opération, A._ - qui avait connaissance de la situation financière de X._ - lui a accordé personnellement, le 25 avril 1994, une " avance ferme " de 19'400'000 fr., au taux d'intérêt de 4%, sur le compte no L.... Cette avance a été affectée au désintéressement du créancier gagiste en premier rang, au remboursement d'un prêt hypothécaire contracté par X._ (et une tierce personne) et de leur compte courant, ainsi qu'au règlement de divers frais d'achat.
Au titre de garanties, A._ avait sollicité la remise en pleine propriété de cédules hypothécaires, la cession des loyers et la conclusion d'un " mandat en matière immobilière ". Ce mandat, déjà conclu le 19 avril 1994 entre X._ et la banque, mentionnait en préambule les difficultés du premier à s'acquitter de ses obligations " dans le cadre des facilités qui lui avaient été accordées en relation avec les immeubles sis à Thônex " et la volonté de la banque - qui disposait d'un tissu de relations sur le marché immobilier et était susceptible de réaliser la vente de manière avantageuse - d'assurer la pérennité de l'opération immobilière. Des pouvoirs exclusifs de décision étaient accordés à A._, ainsi qu'un complet droit de substitution; la banque était autorisée à entreprendre des travaux de construction et disposait de l'ensemble des prérogatives du maître de l'ouvrage; elle pouvait déployer l'activité d'un gérant professionnel et procéder aux actes de gestion usuels du bien immobilier.
A.b. L'opération immobilière de Nyon visait à restaurer deux bâtiments anciens.
Le 29 décembre 1994, X._ et la banque ont signé un " contrat de prêt partiaire " d'un montant de 14'850'000 fr. à verser sur le compte no U.... Les 18 décembre 1995 et 4 mars 1999, le prêt a été augmenté à 15'700'000 fr., respectivement à 16'300'000 fr. Selon les clauses de cet accord (qui prévoyait en principe un taux d'intérêt minimum de 2 %), les bénéfices résultant d'une éventuelle vente de " l'opération " devaient servir à rembourser le prêt, puis être répartis à parts égales entre le prêteur et l'emprunteur, celui-ci supportant entièrement l'éventuelle perte. Selon le contrat, " si la revente de l'immeuble est effectuée avec l'accord écrit préalable du prêteur, une remise de dette pourra être concédée, pour la partie de la créance en capital excédant la valeur vénale obtenue ". Il était précisé que l'admission du principe de la prise en charge d'une quote-part de la perte éventuelle ne pouvait constituer un contrat de société simple, la banque revêtant exclusivement la qualité de prêteur.
Selon le préambule du contrat de prêt, le prêteur avait financé, le 1er juillet 1988, l'acquisition de ces immeubles, puis, en 1992, X._ avait eu des difficultés à s'acquitter de ses obligations. Le " mandat en matière immobilière " conclu par les parties le 31 janvier 1995 conférait à la banque les mêmes droits que ceux stipulés dans le contrat du 19 avril 1994 en relation avec l'opération de Thônex. Elle a permis l'exécution d'importantes transformations et la mise à disposition du financement nécessaire. Comme les travaux étaient pratiquement terminés, la banque acceptait de mettre à disposition de X._ une ligne de crédit, destinée en particulier à consolider deux avances fermes et le crédit de construction précédemment octroyés.
A.c. L'opération immobilière de Chancy a eu pour but l'acquisition d'une parcelle.
Le 18 mars 1999, la banque et X._ ont conclu un prêt hypothécaire no A... de 4'100'000 fr. au taux fixe de 4%, cette somme devant être affectée au paiement du prix d'acquisition, aux frais y relatifs et à la reprise de montants non recouverts après des ventes immobilières intervenues à Meyrin et Nyon.
A.d. Le 23 janvier 1998, X._ a envoyé un courrier à la banque pour l'informer de la " situation alarmante " de " ses comptes et prêts " et il lui a fait part de sa volonté de déterminer d'un commun accord les solutions aptes à rentabiliser " [leurs] investissements communs ".
Dans sa réponse du 28 janvier 1998, la banque a contesté l'existence d'investissements communs, rappelé que X._ avait effectué des acquisitions de sa propre initiative, sous son entière responsabilité et qu'elle avait uniquement mis à sa disposition et à sa demande les prêts nécessaires aux réalisations immobilières.
Par courrier du 15 juillet 1998, X._ a exposé avoir accepté l'avance de 19'400'000 fr. pour racheter en son nom les immeubles de Thônex, à une valeur plus élevée que leur valeur de rendement, dans l'intérêt de la banque, afin que celle-ci ne perde pas l'entier du capital investi dans ceux-ci en raison de leur vente aux enchères. Il a sollicité l'adaptation des conditions de ses prêts hypothécaires et il a demandé l'octroi de nouveaux crédits pour de nouvelles affaires.
A.e. En vertu de la loi cantonale 8194 du 19 mai 2000, les créances de A._ ont été cédées à la Fondation de valorisation des actifs de la Banque A._ (ci-après : la Fondation). Les trois prêts octroyés à X._ ont alors été dénoncés au remboursement pour le 20 septembre 2001 (Thônex et Nyon) et le 31 mars 2002 (Chancy).
Par courrier du 9 novembre 2001, X._ a communiqué à la Fondation que les transactions concernant Nyon et Thônex étaient " 100% du portage pour le compte de A._ ".
Le 12 mars 2002, répondant à un courrier de X._ du 5 mars 2002, la Fondation a exclu de procéder selon l'avis de celui-ci et elle l'a informé qu'elle sollicitait la vente des immeubles au prix du marché et la signature d'une reconnaissance de dette en sa faveur pour les montants non couverts par le produit de réalisation.
Par convention du 31 octobre 2002, X._ a reconnu devoir à la Fondation la somme de 16'497'677 fr. 30 dans le cadre de l'opération de Nyon. Une fois l'immeuble réalisé, l'Etat de Genève (cf. infra let. A.f) lui a réclamé le solde, soit un montant de 11'424'022 fr. 10.
Par convention du 11 juin 2003, X._ a reconnu devoir à la Fondation la somme de 21'163'070 fr. 50 dans le cadre de l'opération de Thônex. Une fois l'immeuble réalisé, l'Etat de Genève lui a réclamé le solde, soit un montant de 11'760'812 fr. 40.
S'agissant de l'opération de Chancy, l'Etat de Genève a réclamé à X._, après imputation du montant correspondant au produit de la vente de l'immeuble, 376'867 fr. 35.
A.f. Le 31 décembre 2009, l'Etat de Genève - par son Service du contentieux de l'Etat - a succédé à la Fondation, en application de la loi 10202 du 29 avril 2008.
B.
B.a. Le 15 décembre 2010, l'Etat de Genève (ci-après : le demandeur) a ouvert action contre X._ (ci-après: le défendeur) devant le Tribunal de première instance de Genève concluant à ce qu'il soit condamné à lui verser le montant de 23'561'701 fr.85.
Le défendeur a conclu, préalablement, à ce qu'il soit ordonné au demandeur de produire les procès-verbaux des séances des organes de A._ approuvant les crédits octroyés par contrats des 25 avril 1994, 29 décembre 1994 et 18 mars 1999 et, au fond, au rejet de la demande.
B.b. Par jugement du 29 septembre 2011, le Tribunal de première instance a condamné le défendeur à verser la somme de 23'561'701 fr.85 à sa partie adverse.
Par arrêt du 19 octobre 2012, la Cour de justice du canton de Genève a annulé ce jugement en retenant une violation du droit à la preuve, le défendeur n'ayant pas pu démontrer l'absence de cause des reconnaissances de dettes et le Tribunal ne s'étant pas prononcé sur ses arguments.
Par ordonnance du 4 mars 2013, le Tribunal de première instance a ordonné la production, par le demandeur, des procès-verbaux requis par le défendeur. Le 7 mars 2013, le demandeur a sollicité, auprès de A._, ces documents; celle-ci, invoquant le secret d'affaires, ne les a pas remis.
Les parties ont été entendues, des témoins auditionnés et des enquêtes ont été ordonnées.
B.c. Par jugement du 4 avril 2016, le Tribunal de première instance a déclaré irrecevables les allégués du défendeur nos 53, 59, 64, 65, 76 et 80 contenus dans ses conclusions après enquêtes (dispositif ch. 1), ainsi que ses pièces nos 15 et 16 (ch. 2), l'a condamné à payer au demandeur la somme de 23'561'701 fr.85 (ch. 3) et mis à la charge du défendeur l'indemnité de procédure fixée à 250'000 fr. (ch. 4).
B.d. Par arrêt du 16 décembre 2016, la Cour de justice du canton de Genève a confirmé le ch. 1 du dispositif du jugement attaqué et annulé ses ch. 2 et 4. Il a jugé que les pièces nos 15 et 16 étaient recevables, mais qu'elles n'avaient toutefois aucune incidence sur l'issue du litige. Il a réduit à 100'000 fr. l'indemnité de procédure mise à la charge du défendeur.
Sur le fond (ch. 3), la Cour de justice a confirmé le jugement de première instance.
C.
Le défendeur exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 16 décembre 2016. Il conclut principalement à sa réforme en ce sens que le demandeur soit débouté de toutes ses conclusions et, subsidiairement, à son annulation et à son renvoi à la cour précédente. Le recourant invoque une application arbitraire de l'art. 186 al. 2 de l'ancienne loi de procédure civile genevoise (aLPC/GE), la transgression de l'<ref-law>, de l'art. 9 Cst., de l'<ref-law> et de l'<ref-law>. Il sollicite également l'octroi de l'assistance judiciaire.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Interjeté par le défendeur qui a succombé dans ses conclusions libératoires et qui a ainsi la qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse est supérieure à 30'000 fr. (<ref-law>), le recours en matière civile est par principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Relèvent de ces faits tant les constatations relatives aux circonstances touchant l'objet du litige que celles concernant le déroulement de la procédure conduite devant l'instance précédente et en première instance, c'est-à-dire les constatations ayant trait aux faits procéduraux (<ref-ruling> consid. 1.3.1 et les références). Le Tribunal fédéral ne peut rectifier les constatations de l'autorité précédente que si elles sont manifestement inexactes, c'est-à-dire arbitraires (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18).
Dans de nombreux passages de son mémoire, le recourant se limite à reprendre, dans sa propre perspective, le déroulement de la procédure, sans toutefois contester l'état de fait dressé par la cour cantonale en respectant les exigences strictes de l'<ref-law>. Il n'y a donc pas lieu de s'écarter des constatations cantonales.
2.
La présente cause a un caractère international en raison du domicile du défendeur en Espagne. Ni le recourant ni l'intimé ne contestent l'application du droit suisse aux contrats litigieux, conformément à l'élection de droit conclue par les parties.
3.
Le litige porte sur la qualification des contrats conclus entre le défendeur et A._. La cour cantonale et le demandeur sont d'avis qu'il s'agit de contrats de prêt qui obligent l'emprunteur à restituer au terme convenu le montant qui lui a été remis. Le défendeur conteste cette qualification et soutient que les accords litigieux déploient les mêmes effets qu'un portage ou une relation de fiducie et que, dans ces deux cas, le remboursement du capital au demandeur est exclu.
S'agissant de l'opération de portage, on peut rappeler qu'elle intervient lorsque le débiteur d'une banque, qui a remis à celle-ci son immeuble en gage, est défaillant. La banque octroie alors un prêt à une société (dite de portage) constituée de professionnels de l'immobilier, pour lui permettre d'acquérir l'immeuble, dans l'attente d'une augmentation future de la valeur du bien. Le montant du prêt octroyé à la société de portage correspond souvent au montant dû par le débiteur défaillant et les intérêts sont limités au rendement de l'immeuble, un éventuel bénéfice en cas de revente devant être partagé entre le porteur et la banque, alors qu'une perte éventuelle est supportée par la seule banque; autrement dit, en cas de perte, la banque abandonne (au moins partiellement) sa créance à l'encontre de la société de portage (cf. arrêt 5A_792/2011 du 14 janvier 2013 let. A.e).
Dans une relation de fiducie, le fiduciant transfère au fiduciaire les droits sur les biens ou les créances qui lui appartiennent; le fiduciaire devient propriétaire de l'objet qui lui est remis ou titulaire de la créance qui lui est transférée. Toutefois, le transfert des droits s'accompagne d'un accord entre les parties qui détermine l'usage que le fiduciaire doit faire de ces droits. La convention de fiducie oblige le fiduciaire à conformer son activité, dans l'exercice de ces droits, au but fixé par le fiduciant; elle détermine dans quelle mesure le fiduciaire est lié à des instructions ou agit de manière indépendante (sur la fiducie-gestion, cf. arrêt 4A_474/2014 du 9 juillet 2015 consid. 5.1 et les arrêts cités).
4.
Le premier grief du recourant a trait aux divers procès-verbaux établis par la banque qu'il n'a pas pu obtenir dans la procédure cantonale.
4.1. Sur ce point, l'autorité précédente a rappelé qu'en vertu de l'art. 186 al. 2 aLPC/GE, le juge peut ordonner à la partie qui détient une pièce utile à la solution du litige de la produire, même si le fardeau de la preuve ne lui incombe pas. En cas de refus sans motif légitime, le fait allégué par la partie adverse peut être tenu pour avéré. En l'espèce, la cour cantonale a toutefois exclu l'application de cette disposition sur la base d'une double motivation: d'une part, le refus de la banque - qu'il soit fondé ou non - n'est pas imputable au demandeur, celui-ci ayant invoqué, à l'appui du défaut de production, un motif légitime (le refus d'un tiers); d'autre part, la cour cantonale retient que les procès-verbaux concernés ne sont pas susceptibles d'établir une relation de portage (ou un rapport de fiducie) entre la banque et le défendeur et, partant, qu'ils ne sont pas utiles à la résolution du litige.
4.2. Le recourant invoque une application arbitraire de l'art. 186 al. 2 aLPC/GE. Il se plaint de n'avoir pas pu obtenir, comme il l'a sans cesse réclamé, la production de l'intégralité des procès-verbaux des séances des comités décisionnels de A._, ainsi que de tous les autres organes ayant participé aux décisions à l'origine des contrats litigieux.
Selon la jurisprudence, une décision est arbitraire au sens de l'art. 9 Cst. lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2). En ce qui concerne la façon dont le droit cantonal a été appliqué, il ne faut pas confondre arbitraire et violation de la loi; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1). Il appartient au recourant d'établir la réalisation de ces conditions, par une argumentation précise, s'il y a lieu en se référant à des pièces, répondant aux exigences de l'<ref-law> (principe d'allégation). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (cf. <ref-ruling> consid. 1.3.1 p. 68; <ref-ruling> consid. 1.3).
4.3. En l'occurrence, le recourant ne s'attaque pas, conformément aux exigences strictes de l'<ref-law>, à chacune des motivations alternatives fournies par la cour cantonale (sur l'exigence, cf. <ref-ruling> consid. 4.1.4 et les arrêts cités).
S'agissant de l'utilité des pièces litigieuses (condition d'application de l'art. 186 al. 2 aLPC/GE), il ne fait qu'affirmer, de manière purement appellatoire, que " ces pièces (...) sont indispensables à la révélation des véritables desseins poursuivis par la banque à l'époque des faits, lesquels ne se résument pas à la lecture des seuls prêts isolés, sortis de leur contexte ".
Le moyen est irrecevable.
4.4. Quant au grief de violation de l'<ref-law>, soulevé par le recourant dans le même contexte, il n'est pas motivé conformément aux exigences de l'<ref-law>.
5.
Le recourant revient ensuite sur la recevabilité des deux pièces complémentaires qu'il a produites et celle des six allégués présentés dans la procédure cantonale.
5.1. S'agissant des deux pièces litigieuses (n os 15 et 16), il apparaît d'emblée que celles-ci ont été déclarées recevables par la cour cantonale et il n'y a donc pas lieu de revenir sur ce point.
Le recourant reproche toutefois à la cour cantonale d'avoir sombré dans l'arbitraire en ne les prenant pas en considération. Force est de constater que l'autorité précédente a effectué une appréciation anticipée des preuves, qu'elle s'est forgée une conviction quant au fait (volonté réelle) que les parties avaient conclu des contrats de prêts et non convenu des opérations de portage ou un rapport de fiducie et, partant, que les pièces litigieuses n'étaient pas utiles pour résoudre le litige (cf. art. 186 aLPC/GE).
A cet égard, le recourant ne fournit pas une motivation précise, conforme aux exigences strictes de l'<ref-law>, qui permettrait de comprendre en quoi ces deux pièces seraient utiles à la résolution du litige (et donc de démontrer l'application arbitraire de l'art. 186 aLPC/GE par la cour cantonale) et il n'y a donc pas lieu d'entrer en matière sur cette critique.
Quant au grief de violation de l'<ref-law>, il n'est pas motivé conformément aux exigences de l'<ref-law>.
5.2. En ce qui concerne les six allégués (n os 53, 59, 64, 65, 76 et 80) déclarés irrecevables par la cour cantonale, le recourant soutient qu'ils n'étaient pas nouveaux et qu'ils auraient permis d'établir la situation " sinistrée de la banque, son historique conduisant à l'impérieux besoin de créer la Fondation, la nécessité pour elle de procéder à des maquillages comptables, notamment par des provisions pour éviter l'enregistrement des pertes encourues ".
On ne voit toutefois pas en quoi ces divers points de fait permettraient de démontrer que c'est en appréciant les preuves de manière arbitraire que la cour cantonale a retenu que, lors de la conclusion des contrats, la réelle et commune intention des parties était d'éviter de subir une perte immédiate dans l'expectative d'une réalisation future bénéficiaire lors de la reprise du marché immobilier et que, pour ce motif, elles sont convenues de contrats de prêts et non d'opérations de portage ou d'un rapport de fiducie (cf. aussi infra consid. 8). En particulier, le défendeur ne prétend pas qu'il serait insoutenable de retenir que la propriété des immeubles n'a pas été transférée à la banque ou que celle-ci n'a pas abandonné ses créances envers le défendeur.
Le moyen est irrecevable.
Quant aux griefs de violation de l'<ref-law> et du droit d'être entendu (art. 29 al. 2 Cst.), ils ne sont pas motivés conformément aux exigences de l'<ref-law> (pour le premier) et de l'<ref-law> (pour le second).
6.
Sur le fond, le recourant tente de convaincre qu'il était, avec la banque, alors " seule aux commandes ", dans une relation de fiducie, ou qu'il a agi dans le cadre d'une opération de portage.
Il fournit une argumentation basée sur de nombreux points de fait étrangers aux constatations contenues dans l'arrêt entrepris, ce qui n'est pas conforme aux exigences strictes posées par l'<ref-law>; il n'y a donc pas lieu de s'écarter de l'état de fait dressé par l'autorité précédente.
Quant à l'argumentation du recourant, elle manque de structure et de clarté, notamment quant aux notions juridiques qu'elle présuppose. On peut toutefois comprendre qu'elle s'appuie sur deux axes principaux (cf. infra consid. 7 et 8).
7.
Le recourant part de la prémisse selon laquelle il aurait été contraint, de diverses manières, de contracter malgré lui de nouveaux emprunts.
7.1. Il prétend que les contrats qu'il a conclus étaient conçus et imposés par la banque, qu'il était " pieds et poings liés " et se bornait à signer " là où la banque le lui ordonnait ". Ces accords feraient parties de " montages et [de] manoeuvres orchestrés par la banque " servant exclusivement les intérêts de celle-ci. La cour cantonale l'aurait d'ailleurs reconnu en soulignant que, dans une opération de portage, en l'absence d'un abandon total de créances (élément nécessaire à l'accord), le porteur (soit le défendeur) " n'a aucun intérêt à s'y engager ".
Exprimées en termes juridiques, ces explications suggèrent, à des degrés divers, l'existence d'une lésion (<ref-law>), voire d'un engagement excessif (<ref-law>), d'un vice du consentement (art. 23 s. CO), d'un dol (<ref-law>) et/ou d'une crainte fondée (art. 29 s. CO).
7.2. On peut toutefois couper court à toute discussion sur ces différentes règles, le défendeur n'ayant pas prétendu que la volonté des parties serait viciée.
Il n'a notamment pas déclaré vouloir résilier ces contrats pour lésion, dans le délai d'un an dès leur conclusion (<ref-law>). Le défendeur ayant été qualifié de " professionnel expérimenté " du marché immobilier, on ne voit d'ailleurs pas comment les conditions de la lésion, et en particulier celle de l'inexpérience, pourraient être réalisées.
Le recourant n'a pas non plus déclaré vouloir résilier ces accords pour erreur essentielle, dol ou crainte fondée, dans le délai d'un an dès la découverte de l'erreur, du dol ou dès la dissipation de la crainte (<ref-law>).
Enfin, l'<ref-law> (protection de la personnalité contre des engagements excessifs) n'interdit pas à une personne de prendre des engagements qui vont au-delà de ses capacités financières, la protection du débiteur qui aurait conclu un contrat léonin étant assurée, le cas échéant, par l'<ref-law> (<ref-ruling> p. 57 ss). Il n'y a donc pas lieu d'examiner le cas d'espèce en recherchant un éventuel engagement excessif (le défendeur ne le sollicitant d'ailleurs pas), étant ici précisé que le défendeur avait en l'occurrence un intérêt à s'engager avec la banque, pour éviter une perte importante, la banque disposant d'un tissu de relations sur le marché immobilier et étant susceptible de réaliser la vente de manière avantageuse.
Il n'y a donc pas lieu d'examiner ces questions et les circonstances factuelles (mentionnées par le recourant) qui les justifient seront écartées ci-après pour laisser la place aux circonstances déterminantes permettant la résolution de la question (encore litigieuse) de la qualification des accords conclus entre les parties.
8.
L'argument central du recourant consiste à dire que, même si les contrats ne répondent pas stricto sensu à la définition des contrats de portage ou de fiducie, il serait erroné de s'arrêter à ce constat, mais qu'il faut plutôt mettre l'accent sur les effets voulus et effectivement poursuivis par les cocontractants.
8.1. D'un point de vue juridique, on comprend que, selon le recourant, les parties auraient eu l'intention (réelle) de produire les effets découlant des contrats de fiducie et/ou de portage (actes dissimulés) et non ceux résultant des contrats de prêts (actes simulés au sens de l'<ref-law>) et que la cour cantonale a sombré dans l'arbitraire (art. 9 Cst.) en retenant une volonté interne différente. On peine par contre à déterminer à quel acte dissimulé le défendeur assimile les accords litigieux. S'il intitule son grief " relation de fiducie " et qu'il fait explicitement état d'un " contrat de fiducie poursuivant les mêmes buts (...) qu'un portage ", il renvoie également, en parlant de ces accords, à la seule relation de portage. Les explications du défendeur sur la relation de fiducie restent en outre ambiguës, à tel point que, dans ses propos, on peine à comprendre qui, de la banque ou du défendeur, serait le fiduciaire et qui aurait la qualité de fiduciant.
Il est toutefois inutile de désigner la relation juridique qui serait en soi la plus adéquate dans les circonstances de l'espèce. Il est dès lors inutile de revenir sur la motivation du recourant et d'examiner les passages consacrés par les juges précédents à ce sujet.
Il s'agit plutôt de rechercher, comme l'a fait la cour cantonale, la volonté des parties aux accords litigieux.
8.2. Pour qualifier la relation contractuelle nouée entre les parties, l'autorité précédente a établi leur volonté réelle (interne) : à l'époque où les contrats ont été conclus, le défendeur entendait éviter la réalisation forcée de ses immeubles à un moment où le marché n'était pas favorable et les financements supplémentaires accordés par A._ lui permettaient de mener à terme ses opérations immobilières et de vendre les immeubles ultérieurement, pendant une meilleure période; la banque, elle, voulait éviter de comptabiliser des pertes à la suite de la réalisation forcée des immeubles et obtenir à terme le remboursement de son financement. La cour cantonale a ainsi retenu que la volonté réelle des parties était de conclure des contrats de prêts et non des contrats de fiducie ou des opérations de portage.
Le défendeur revient sur ces constats et soutient que c'est en faisant preuve d'arbitraire (art. 9 Cst.) que la cour cantonale a établi la volonté interne des parties et nié l'existence d'un acte simulé.
8.2.1. Il en veut pour preuve qu'il avait rappelé à la Fondation, dans un courrier du 9 novembre 2001, que, pour lui, les transactions liées aux immeubles étaient " 100% du portage pour le compte de A._ " (acte de recours ch. 153 p. 33) et qu'il " n'est ni allégué, ni établi que la Fondation ait contesté les termes de ce courrier ".
L'argument tombe à faux puisque, le 12 mars 2002, la Fondation, qui répondait à un courrier du défendeur du 5 mars 2002, lui a communiqué sa réponse en indiquant qu'elle n'entendait pas reprendre les immeubles (de Thônex et Nyon) " au montant de leur engagement respectif " (c'est-à-dire en libérant le défendeur de sa dette hypothécaire). Cela étant, on ne peut pas non plus inférer des circonstances que les parties (La Fondation et le défendeur) auraient conclu un nouvel accord (qui libérerait le défendeur) puisqu'en l'occurrence celui-ci devait s'attendre à une acceptation expresse et que, partant, le silence de la Fondation pendant quelques mois ne pouvait valoir acceptation (cf. <ref-law>; arrêt 4A_231/2010 du 10 août 2010 consid. 2.4.1 publié in SJ 2010 I p. 497).
8.2.2. Le défendeur reproche à la cour cantonale d'avoir simplement fait sienne l'interprétation " unilatérale " effectuée par la Fondation, alors même que les contrats avaient été conclus plus de six ans avant leur reprise par cette entité.
La critique tombe à faux puisque la cour cantonale a recherché " la réelle et commune intention des cocontractants " au moment de la conclusion des accords, soit, d'un côté, le défendeur et, de l'autre, la banque. A cet égard, elle distingue clairement les cocontractants (et leur intention lors de la conclusion des contrats) de la Fondation qui n'intervient qu'en 2010, suite à la cession légale des créances de la banque, pour faire signer au défendeur des reconnaissances de dettes.
8.2.3. Enfin, contrairement à ce que pense le défendeur, la cour cantonale n'a pas établi la volonté subjective des parties sur la base des seuls contrats litigieux, mais elle a également tenu compte (notamment) des témoignages recueillis par le premier juge (lors de la reprise de l'instruction consécutive à la décision de renvoi de la Cour de justice).
Le moyen tiré de l'établissement arbitraire des faits est infondé et le défendeur, à qui il incombait d'apporter la preuve de la simulation - preuve par ailleurs soumises à des exigences strictes (cf. arrêt 4A_429/2012 du 2 novembre 2012 consid. 4.2) -, doit en supporter l'échec.
8.3. Il en résulte que tant la banque que le défendeur avaient l'intention (réelle) de conclure des contrats de prêts qui engageaient celui-ci à rembourser à celle-là le montant de ses emprunts au terme de la relation contractuelle. Certes, le défendeur, par la conclusion des " mandats en matière immobilière ", a restreint de manière conséquente sa propre liberté contractuelle (en faveur de la banque). Il demeure toutefois que cette décision est conforme à son intention (réelle), que sa volonté n'a pas été viciée, qu'il ne s'est pas plaint d'un accord ayant un caractère léonin, qu'il a été constaté qu'il était conscient des risques auxquels il s'exposait en l'absence de reprise du marché immobilier (en sa qualité de professionnel expérimenté), qu'il avait d'ailleurs été dissuadé en vain par son conseil de l'époque d'accroître son endettement et que, de son propre aveu, il connaissait " très bien la stratégie " de la banque.
9.
Il résulte des considérations qui précèdent que le recours en matière civile doit être rejeté dans la mesure où il est recevable.
Le recours étant manifestement dépourvu de chances de succès, la requête d'assistance judiciaire doit être rejetée, sans qu'il soit nécessaire d'examiner si le recourant est dans l'indigence.
Les frais judiciaires, arrêtés au montant de 20'000 fr., sont mis à la charge du recourant.
Il n'est en revanche pas alloué de dépens, la partie intimée n'ayant pas été invitée à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 20'000 fr., sont mis à la charge du recourant.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre civile.
Lausanne, le 5 octobre 2017
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget