Faits :
A.
Par contrat de travail du 7 août 2006, A._ a été engagé en qualité de négociateur en pétrole brut (complètement d'office selon l'<ref-law>) par B._ SA (ci-après : B._), active dans le négoce de pétrole.
Dans le courant du mois d'octobre 2014, B._ et A._ ont conclu un contrat de prêt (" Loan Agreement ") portant sur un montant de 500'000 USD. Le prêt était octroyé par B._, désignée en qualité de prêteuse (" Lender "), à A._, qualifié d'employé (" employee of the Lender ") et d'emprunteur (" Borrower "), à titre privé. Il devait permettre à l'emprunteur de contracter un prêt hypothécaire pour l'acquisition d'un bien immobilier.
Le contrat de prêt prévoit que, sauf accord de prolongation conclu par les parties, l'emprunteur remboursera le montant de 500'000 USD (capital et intérêts) au plus tard à la date d'échéance (fixée au 30 avril 2015) (art. 2 et 3 par. 1). Les parties envisagent (" it is contemplated ") que le prêt soit remboursé par compensation avec le montant des bonus différés acquis et payables à l'emprunteur (art. 3 par. 2). Elles acceptent que les bonus différés servent de garantie au remboursement du prêt et prévoient que si un montant de bonus différé est payable à l'emprunteur avant la date d'échéance du prêt, il servira d'abord à rembourser le prêt, par déduction ou compensation (art. 5).
L'emprunteur n'a pas remboursé le prêt à l'échéance contractuelle et les parties n'ont prévu aucune prolongation du délai.
En mars 2016, la société employeuse a versé à l'employé la somme de 2'009'307 USD comprenant les bonus différés 2013 et 2014 et la première tranche du bonus 2015, sans opérer de déduction à titre de remboursement du prêt, ni de retenue pour garantir celui-ci, ni de compensation.
Le 31 mars 2016, l'employé a résilié son contrat de travail pour le 31 juin 2016.
Le 15 avril 2016, l'employeuse a accusé réception de la démission. Dans le même courrier, elle a requis le remboursement de la somme de 511'627.04 USD (capital et intérêts du prêt) dans un délai de dix jours.
Par courrier du 24 mai 2016, l'emprunteur a contesté devoir rembourser cette somme au motif que la créance de la société prêteuse devait être compensée avec diverses créances dont il était titulaire (paiement de bonus différés, solde de salaire).
Le 12 décembre 2016, l'office des poursuites compétent a notifié, sur requête de la société prêteuse, un commandement de payer à l'emprunteur, portant sur les sommes de 484'440 fr. et de 11'265 fr.20, intérêts en sus, représentant la contrevaleur du prêt (capital et intérêts).
B.
Le 27 septembre 2016, la société prêteuse a ouvert action en paiement contre l'emprunteur devant le Tribunal de première instance de Genève. La conciliation ayant échoué, elle a, par demande du 14 février 2017, conclu à ce que sa partie adverse soit condamnée à lui payer les montants de 500'000 USD et de 11'627.04 USD, intérêts en sus.
En substance, la demanderesse a allégué avoir conclu avec le défendeur un contrat de travail en 2006 et, en octobre 2014, un contrat de prêt portant sur le montant de 500'000 USD. Elle a exposé les modalités d'exécution de ce dernier contrat (cf. supra let. A 3e par.), indiqué avoir versé chaque année (entre 2013 et 2015) les bonus dus au défendeur, est revenue sur la dénonciation du prêt et le refus du défendeur de le rembourser et elle a retracé le déroulement de la procédure de recouvrement (complètement d'office selon l'<ref-law>).
Le défendeur a conclu à l'irrecevabilité de la demande faute de compétence ratione materiae du tribunal saisi. Selon lui, seul le Tribunal des prud'hommes était compétent pour trancher le litige, le prêt étant intrinsèquement lié au contrat de travail: celui-ci prévoyait en particulier que le remboursement était opéré par compensation avec les bonus différés que l'employé devait encore recevoir, ceux-ci faisant partie de sa rémunération et servant en sus de garantie au prêt.
La demanderesse a conclu au rejet de l'exception d'incompétence, faisant valoir qu'aucune procédure n'était pendante devant le Tribunal des prud'hommes, que le litige tirait sa source d'un contrat de prêt en lien avec l'acquisition d'un bien immobilier, soit un domaine relevant de la compétence du Tribunal de première instance. Elle a précisé que le prêt n'avait pas été remboursé par le défendeur à son échéance et qu'elle n'avait pas déduit le montant dû du bonus versé en mars 2016.
Par jugement incident du 23 novembre 2017, le Tribunal de première instance s'est déclaré compétent à raison de la matière.
Par arrêt du 19 décembre 2018, la Chambre civile de la Cour de justice du canton de Genève a rejeté l'appel formé par le défendeur et confirmé le jugement attaqué.
C.
Contre cet arrêt, le défendeur exerce un recours en matière civile au Tribunal fédéral. Il conclut à sa réforme en ce sens que la demande en paiement du 14 février 2017 soit déclarée irrecevable. Le recourant estime que la cour cantonale a établi arbitrairement les faits et qu'elle a appliqué le droit cantonal (art. 1 al. 1 let. a de la loi genevoise sur le Tribunal des prud'hommes [LTPH; RS/GE E 3 10]) de manière insoutenable (art. 9 Cst.).
L'intimée conclut au rejet du recours dans la mesure de sa recevabilité.
Chacune des parties a encore déposé des observations.

Considérant en droit :
1.
1.1. Le recours en matière civile est dirigé contre une décision incidente sur la compétence au sens de l'<ref-law>, qui a été notifiée séparément aux parties (arrêt 4A_407/2016 du 7 février 2017 consid. 1.6). Dirigé en temps utile (art. 100 al. 1 et 48 al. 1 LTF) contre une décision rendue sur appel du défendeur par le tribunal supérieur du canton (<ref-law>) dans une affaire relevant du droit des contrats (<ref-law>), dont la valeur litigieuse dépasse largement le seuil le plus exigeant (30'000 fr.) prévu par l'<ref-law>, le recours est recevable au regard de ces dispositions.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
1.3. Sous réserve de la violation des droits constitutionnels (<ref-law>), le Tribunal fédéral applique le droit d'office (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal ou, cas échéant, à l'état de fait qu'il aura rectifié. Il n'est toutefois lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 1.4 et l'arrêt cité).
2.
La cour cantonale constate que les parties, déjà liées par un contrat de travail, ont par la suite conclu un contrat de prêt. Elle en infère d'emblée un concours d'actions et considère qu'il convient de déterminer le caractère prédominant (ou prépondérant) du litige afin de savoir laquelle des juridictions ordinaire ou spéciale est compétente pour trancher celui- ci. Selon l'autorité précédente, la question principale a trait au remboursement du prêt de 500'000 USD; les liens entre ce contrat et le contrat de travail sont " pour le moins ténus " et le seul fait que les bonus différés (ou les acomptes dus à ce titre) puissent servir de garantie de remboursement du prêt est insuffisant pour nier la compétence du tribunal ordinaire. L'autorité précédente considère qu'une seule clause du contrat de prêt fait véritablement référence au contrat de travail : l'art. 5 par. 2 prévoit que, dans l'hypothèse où un bonus différé serait dû à l'emprunteur avant la date d'échéance du prêt, ce bonus devrait d'abord servir à rembourser le prêt, sous forme de déduction ou de compensation. Elle souligne qu'il ne s'agit toutefois que d'une hypothèse et conclut que le caractère prédominant du litige est bien le remboursement du prêt consenti, en capital et intérêts, soit un domaine relevant de la juridiction ordinaire.
3.
La question litigieuse est de savoir si le litige qui oppose les parties est de la compétence du Tribunal de première instance (et, en cas d'appel, de la Chambre civile de la Cour de justice), soit l'autorité ordinairement compétente pour les actions de la juridiction civile, ou de la compétence du Tribunal des prud'hommes, en tant que tribunal spécial compétent pour les actions relevant du contrat de travail.
3.1. Aux termes de l'<ref-law>, le droit cantonal détermine la compétence matérielle et fonctionnelle des tribunaux, sauf disposition contraire de la loi. Dans le canton de Genève, le Tribunal des prud'hommes est compétent pour statuer en première instance sur "les litiges découlant d'un contrat de travail, au sens du titre dixième du code des obligations " (art. 1 al. 1 let. a de la loi genevoise sur le Tribunal des prud'hommes [LTPH; RS/GE E 3 10]). La Chambre des prud'hommes de la Cour de justice connaît des appels et recours dirigés contre les jugements de cette autorité (art. 124 let. a de la loi genevoise sur l'organisation judiciaire [LOJ; RS/GE E 2 05]).
Comme la décision sur la compétence de la juridiction des prud'hommes du canton de Genève relève du droit cantonal, l'autorité de céans ne la corrige que si elle se révèle arbitraire (arrêt 4A_713/2016 du 21 avril 2017 consid. 3 et les arrêts cités).
3.2. Pour déterminer si, en l'espèce, le litige découle du contrat de travail, la cour cantonale a d'emblée affirmé l'existence de deux " fondements juridiques distincts " (contrat de travail et contrat de prêt) et d'un " concours d'actions ", avant de rechercher, pour désigner l'autorité compétente, le fondement prépondérant du litige.
On peine à comprendre le raisonnement des juges cantonaux selon lequel il existerait un " concours d'actions ", ce d'autant plus qu'ils ne prétendent à aucun moment que la demanderesse pourrait justifier sa prétention au remboursement aussi bien en se fondant sur le (seul) contrat de prêt qu'en invoquant le (seul) contrat de travail. Il n'y a toutefois pas lieu de s'attarder sur ce point. Il suffit ici de constater que les juges précédents ont qualifié - et il s'agit de l'élément central de leur motivation - de " très ténu " le lien entre le contrat de prêt (qui fonde l'obligation de remboursement du montant de 500'000 USD remis en octobre 2014 à titre de prêt) et le contrat de travail et que, en l'absence d'un lien " suffisant " avec celui-ci, la compétence du tribunal ordinaire ne peut être niée.
Cette interprétation correspond à celle qui a été confirmée par la Cour de céans dans l'arrêt 4A_242/2014 du 2 septembre 2014 (consid. 4) : pour qu'un litige découle d'un contrat de travail, il faut que la créance, objet de la demande, soit en relation avec un rapport de travail; il a été précisé qu'une telle relation existe lorsque la créance (litigieuse) correspond à des prestations promises au travailleur en contrepartie de son activité (arrêt 4A_242/2014 du 2 septembre 2014 consid. 4). On ne saurait dès lors pas reprocher à la cour cantonale d'avoir fait une interprétation arbitraire du droit cantonal.
3.3. Le recourant revient à la charge en soutenant que, contrairement à l'affirmation de la cour cantonale (qu'il qualifie d'arbitraire), les liens entre le contrat de travail et le contrat de prêt n'étaient pas " ténus ", mais au contraire " intenses et étroits, si ce n'est exclusifs ", ce qui impliquerait de reconnaître la compétence de la juridiction des prud'hommes. Selon lui, le lien avec le contrat de travail est évident puisque la société prêteuse s'est réservée la possibilité de compenser ses dettes vis-à-vis de l'emprunteur (montants éventuellement dus au titre de paiement d'un bonus différé) avec sa créance découlant du contrat de prêt (montant encore dû par l'emprunteur).
Il ressort de l'arrêt cantonal que la société prêteuse a mentionné spontanément l'éventuelle compensation dans son mémoire de demande. Elle entendait démontrer, en anticipant l'éventuelle objection que le défendeur pourrait opposer dans sa réponse, qu'elle n'était plus sa débitrice (les bonus ayant tous été payés au défendeur) et, partant, qu'une compensation n'était pas envisageable. Ces allégations ne comportent aucun élément déterminant susceptible de remettre en cause la qualification du fondement juridique du litige qui vient d'être retenue (contrat de prêt), mais elles portent exclusivement sur les modalités de remboursement du montant prêté. Cela étant, elles sont impropres à démontrer le caractère insoutenable du raisonnement qui a conduit les juges cantonaux à reconnaître la compétence du Tribunal de première instance.
Les autres éléments de fait mis en évidence par le recourant (le prêt a été accordé au défendeur parce qu'il était salarié de la demanderesse; le contrat de prêt fait référence à sa qualité d'employé; le prêt a été dénoncé en raison de la fin des rapports de travail; dans les courriels ou courriers de la demanderesse, la fin des rapports de travail et le remboursement du prêt sont toujours liés, etc.) ne sont pas davantage susceptibles de démontrer l'arbitraire de la décision cantonale. Ils permettent certes de comprendre que le prêt a été octroyé au défendeur " à l'occasion " du rapport de travail, mais non de déterminer que le prêt " découlerait " d'un contrat de travail.
Plus précisément, on ne saurait taxer d'arbitraire la décision cantonale puisqu'il ne résulte pas de l'arrêt cantonal que l'octroi du prêt correspondrait à une prestation promise au travailleur en contrepartie de son activité (et non seulement " à l'occasion " de celle-ci). Il ne ressort en particulier pas des constatations cantonales que le défendeur aurait bénéficié, de par son statut d'employé, de conditions favorables pour obtenir le prêt.
Le recourant tente de tirer argument de l'arrêt 4A_76/2011 du 11 avril 2011 (consid. 2 avant-dernier par.) dans lequel la Cour de céans a relevé que, " selon le Tribunal de première instance, les juridictions ordinaires n'étaient pas compétentes pour connaître de prétentions fondées sur un contrat de prêt s'inscrivant dans une relation entre travailleur et employeur (...) ". Il relève toutefois lui-même que ce point n'a pas été contesté devant la Chambre civile cantonale et qu'il n'était pas discuté devant le Tribunal fédéral, de sorte que celui-ci ne l'a pas examiné, mais qu'il a considéré l'interprétation comme " acquise ". On ne saurait donc en tirer un quelconque élément favorable à la thèse du recourant.
La critique est sans consistance.
3.4. Le contrat de prêt étant le fondement juridique du litige, celui-ci ne découle pas du contrat de travail et le Tribunal de première instance est dès lors compétent pour juger du litige qui divise les parties.
En conséquence, le recours contre la décision rendue par la cour cantonale doit être rejeté, par substitution de motifs.
4.
Il résulte des considérations qui précèdent que le recours en matière civile doit être rejeté.
Les frais et les dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 6'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève Chambre civile.
Lausanne, le 25 novembre 2019
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget