Faits :
A.
A.a. X._ Sàrl (ci-après: X._ ou l'employeuse ou la défenderesse), dont le siège est à Genève, est une société active dans le négoce de marchandises, notamment de matières premières, ainsi que de fret et de leurs dérivés.
A._ (ci-après: l'employé ou le demandeur) a été engagé comme traderen pétrole par X._ le 3 septembre 2010, pour un salaire fixe de 300'000 fr. par an.
Le contrat de travail prévoit le versement d'un bonus discrétionnaire en ces termes:
" L'employé n'a pas de droit contractuel à un bonus mais peut recevoir un tel montant, au moment et aux conditions déterminés à la discrétion absolue de la société. De tels paiements de bonus, s'il y en a, ne constituent pas une partie du salaire. Des paiements consécutifs sur plusieurs années ne créent pas de droit à de futurs paiements ".
A.b. Au cours de sa première année d'activité, soit 2011 (les comptes de la société comprenant la période du 1er novembre de l'année précédente au 31 octobre), l'employé et son équipe n'ont pas généré de bénéfices et aucun bonus ne leur a été versé l'année suivante.
Au cours de l'année 2012, l'employé et son équipe ont généré un bénéfice. Le 8 novembre 2012, l'employé a transmis une proposition de répartition du bonus pour ses collaborateurs, tenant compte essentiellement de leur performance et indiquant que l'objectif était de les retenir dans leur poste et de maintenir leur motivation à haut niveau.
Par courrier de l'employeuse du 10 décembre 2012, signé par l'employé le 21 décembre 2012( bonus agreement), l'employeuse a fixé le bonus dû à l'employé, sur la base des chiffres de l'année comptable 2012, au montant de 3'750'000 USD, lequel comprend un bonus ( incentive compensation) de 1'650'000 USD payable au plus tard le 31 janvier 2013 (1ère tranche) et un bonus de 2'100'000 USD ( additional bonus payment), payable à raison de 1'050'000 USD le 31 janvier 2014 (2e tranche) et 1'050'000 USD le 31 janvier 2015 (3e tranche). Le paiement de ces montants était soumis aux conditions que l'employé ne donne pas sa démission ou qu'il ne fasse pas l'objet d'un licenciement avant le 31 décembre de l'année précédant la date du paiement. Il était précisé que la société pouvait à sa seule discrétion autoriser le versement de tout ou partie du bonus additionnel si la résiliation avant le 31 décembre avait eu lieu pour un motif autre que grave. La question de l'application de ces conditions est litigieuse entre les parties.
Il a été retenu qu'il était d'usage pour la société employeuse de différer le paiement du bonus en trois versements sur une période de trois ans dans les cas de bonus supérieurs à 500'000 USD.
A.c. Le 16 novembre 2013, l'employeuse a résilié le contrat de travail de l'employé pour le 31 janvier 2014, congé ordinaire confirmé par courriers du 18 novembre 2013, lesquels n'en précisent pas les motifs.
Par courrier du 18 novembre 2013, l'employeuse a soumis à l'employé un accord que l'employé a signé le 10 décembre 2013. Selon cet accord (termination agreement), l'employé percevrait son salaire mensuel de 25'000 fr. jusqu'en janvier 2014 et le bonus additionnel de 1'050'000 USD lui serait versé pour autant que les termes et conditions de l'accord soient respectés.
Deux clauses de cet accord, à savoir la clause de renonciation de l'employé à agir en justice et celle de restitution par l'employé du montant de 1'050'000 USD en cas de non-respect de la clause de renonciation, sont litigieuses:
" L'employé déclare, s'engage et garantit qu'il n'a déposé ni présenté, ni ne va déposer ou présenter aucune autre plainte, procédure, action ou prétention devant quelque tribunal que ce soit, juridiction du travail ou toute autre juridiction en connexion avec, ou en lien avec ou découlant de l'emploi et/ou sa résiliation et que nulle personne agissant pour son compte ne le fait non plus... "
" L'employé s'engage à rembourser le paiement du bonus prévu.... immédiatement sur demande dans le cas où l'employé, ou quiconque agissant pour son compte, intente une action, une réclamation ou une procédure par-devant la juridiction du travail ou toute autre juridiction contre la société.... ou si l'employé affirme... que cette convention de résiliation n'est pas valide ou si une cour ou un tribunal en décide ainsi.... "
A.d. Ainsi, en 2013, l'employé a perçu son salaire de 300'000 fr. et le bonus de 1'650'000 USD (1ère tranche), soit 1'528'726 fr. 15 versés en janvier 2013.
En 2014, il a perçu son salaire de 25'000 fr. et, en exécution de l'accord des 18 novembre/10 décembre 2013, il a reçu le montant de 1'050'000 USD (2e tranche), soit 940'262 fr. versés le 24 janvier 2014.
A.e. L'employé a formé opposition à son licenciement, par courrier de son avocat du 27 janvier 2014, et a requis que les motifs de celui-ci lui soient communiqués.
Par courrier de son mandataire du 7 février 2014, l'employeuse a communiqué que le licenciement avait été prononcé pour trois motifs: les pertes éprouvées en lien avec l'activité de l'employé, le comportement de celui-ci et le non-respect de certaines règles internes; elle a invité l'employé à lui restituer le montant de 1'050'000 USD dans la mesure où l'accord passé avait été invalidé.
A.f. L'employé a retrouvé un emploi en novembre 2014, dans le même domaine, avec une rémunération inférieure.
B.
Par requête de conciliation du 22 mai 2014, l'employé a ouvert action en paiement contre son employeuse, puis, après échec de la conciliation, a déposé sa demande devant le Tribunal des prud'hommes de Genève le 30 juillet 2014, concluant, dans ses conclusions finales, à la condamnation de celle-ci à lui verser, à son choix à lui le montant brut de 951'615 fr. ou de 1'050'000 USD à titre de bonus (la 3e tranche du bonus) et le montant brut de 716'437 fr. 50 à titre d'indemnité pour licenciement abusif, tous montants avec intérêts à 5% l'an dès le 31 janvier 2014.
L'employeuse a conclu au rejet de la demande et a formé une demande reconventionnelle, concluant à ce que le demandeur soit condamné à lui verser 886'761 fr. 10, subsidiairement 989'625 fr. 40, avec intérêts à 5% l'an dès le 16 février 2014, autrement dit à lui restituer le montant net (après déduction des cotisations sociales) versé en exécution de l'accord des 18 novembre/10 décembre 2013.
Par jugement du 2 février 2016, le Tribunal des prud'hommes du canton de Genève a rejeté tant la demande de l'employé que la demande reconventionnelle de l'employeuse. Selon lui, le paiement des deuxième et troisième tranches du bonus n'était pas dû puisque l'employé avait été licencié avant le 31 décembre 2013. Le congé signifié par l'employeuse n'était pas abusif et aucune indemnité n'était donc due à ce titre. Quant à la demande reconventionelle, il l'a rejetée: l'employeuse n'avait aucun intérêt à prévoir le remboursement d'une somme aussi importante (1'050'000 USD) pour se protéger et, partant, cette clause qui impose un engagement excessif au travailleur, était nulle.
Statuant le 21 novembre 2017, la Chambre des prud'hommes de la Cour de justice de Genève a rejeté l'appel de l'employé et confirmé le jugement attaqué. Les motifs en seront exposés ci-après dans la mesure utile.
C.
Contre cet arrêt, tant l'employé que l'employeuse ont interjeté un recours en matière civile au Tribunal fédéral.
L'employé conclut à sa réforme en prenant en substance les conclusions suivantes: au titre de bonus, principalement, l'employeuse doit être condamnée à lui payer, à son choix à lui, les montants bruts de 951'615 fr. ou de 1'050'000 USD, subsidiairement le montant de 951'615 fr., plus subsidiairement le montant de 1'050'000 USD, tous montants portant intérêts à 5% l'an dès le 31 janvier 2014, et au titre d'indemnité pour licenciement abusif le montant de 716'437 fr. 50 avec intérêts à 5% l'an dès le 31 janvier 2014.
L'employeuse conclut à la réforme de l'arrêt attaqué en ce sens que, principalement, le demandeur soit condamné à lui payer le montant net de 886'761 fr. 10, subsidiairement de 989'625,40 USD, avec intérêts à 5% l'an dès le 16 février 2014, lequel correspond à la restitution du montant versé en exécution de l'accord des 18 novembre/10 décembre 2013, et plus subsidiairement encore à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Les parties ont chacune conclu au rejet du recours de l'autre et, dans chaque dossier, ont encore déposé chacune des observations. La cour cantonale se réfère aux considérants de son arrêt.
Considérant en droit :
1.
Les recours étant tous deux dirigés contre le même arrêt et les questions juridiques qui se posent portant essentiellement sur les mêmes objets, il y a lieu de joindre les deux procédures. Les parties, dans leurs recours respectifs, remettent en cause différents aspects de la motivation cantonale, lesquels sont entremêlés, de sorte qu'il s'impose, pour la clarté de la motivation du présent arrêt, de les traiter en parallèle en suivant l'ordre logique des questions qui se posent.
Les arrêts attaqués ayant été notifiés aux parties le même jour, leurs recours respectifs interjetés le 8 janvier 2018 l'ont été en temps utile (art. 100 al. 1, 46 al. 1 let. c et 45 al. 1 LTF). Dirigés contre une décision finale (art. 90 LTF), rendue sur appel et appel joint des parties par le tribunal supérieur du canton (art. 75 LTF) dans une affaire relevant du contrat de travail (art. 72 al. 1 LTF), dont la valeur litigieuse excède 15'000 fr. (art. 74 al. 1 let. a LTF), les recours en matière civile sont recevables au regard de ces dispositions.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2; 137 II 353 consid. 5.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (ATF 137 III 226 consid. 4.2; 136 III 552 consid. 4.2; 134 V 53 consid. 4.3; 133 II 249 consid. 1.4.3; 129 I 8 consid. 2.1).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (ATF 140 III 264 consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (ATF 140 III 16 consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (ATF 140 III 16 consid. 1.3.1 p. 18). Les critiques de nature appellatoire sont irrecevables (ATF 130 I 258 consid. 1.3 p. 261 s.).
Les faits nouveaux sont irrecevables devant le Tribunal fédéral (art. 99 al. 1 LTF). En outre, en vertu du principe de l'épuisement des griefs, tant sur le plan procédural que sur le plan matériel, le recourant ne peut pas invoquer des moyens de fait qu'il n'a pas soulevés en temps utile devant l'autorité cantonale, pour obtenir un résultat plus favorable en procédure de recours (art. 75 al. 1 LTF; ATF 134 III 524 consid. 1.3; 133 III 393 consid. 3; arrêt 4A_19/2016 du 2 mai 2017 consid. 1.2). De tels moyens sont en effet nouveaux et, partant, irrecevables (art. 99 al. 1 LTF).
2.2. Sous réserve de la violation des droits constitutionnels (art. 106 al. 2 LTF), le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) à l'état de fait constaté dans l'arrêt cantonal ou, cas échéant, à l'état de fait qu'il aura rectifié. Il n'est toutefois lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 135 III 397 consid. 1.4 et l'arrêt cité).
2.3. En ce qui concerne la violation de l'art. 29 al. 2 Cst., sous son aspect de droit à une décision motivée, la jurisprudence impose au juge l'obligation de motiver ses décisions; il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais il peut au contraire se limiter à ceux qui, sans arbitraire, lui paraissent pertinents (ATF 134 I 83 consid. 4.1 p. 88). Savoir si la motivation présentée est convaincante est une question distincte de celle du droit à une décision motivée. Dès lors que l'on peut discerner les motifs qui ont guidé le juge, le droit à une décision motivée est respecté (arrêt 4A_474/2008 du 13 février 2009 consid. 2.1; cf. ATF 126 I 97 consid. 2c p. 103).
3.
Traitant uniquement les griefs soulevés par les parties, la cour cantonale a tout d'abord examiné l'accord du 18 novembre/10 décembre 2013 ( termination agreement). Pour se prononcer sur l'existence de concessions réciproques des parties, elle a tout d'abord recherché (à tort) si le licenciement était abusif, ce qu'elle a exclu; puis elle a examiné si l'employé avait un droit au bonus, ce qu'elle a nié; partant, elle a considéré que la concession faite par l'employeuse était suffisante. Enfin, elle a traité le grief de l'employeuse relatif à la clause de restitution: elle a considéré que l'employé ne pouvait renoncer à agir en justice, que cette clause seule est nulle et que, partant, le versement que l'employeuse a effectué sur la base de l'accord est valable et n'a pas à être remboursé.
3.1. Il est vrai que l'arrêt cantonal de 25 pages, qui a examiné les seuls griefs des parties, est parfois peu clair et se prononce également sur des questions non pertinentes. Les parties ont pourtant consacré 146 pages en tout (recours, réponses, observations dans les deux procédures) pour exposer leurs points de vue respectifs, ce qui n'en facilite pas, à l'évidence, la compréhension. On peut vraiment se demander si une telle prolixité satisfait aux exigences de motivation de l'art. 42 al. 2 LTF.
De la lecture de ces écritures et de la compréhension raisonnable qu'il a pu en acquérir, le Tribunal fédéral ne retient que les griefs recevables suivants, qu'il traitera à la lumière des violations de la loi invoquées:
L'employeuse (qui avait formé une demande reconventionnelle) soutient que l'accord des 18 novembre/10 décembre 2013 - qu'elle qualifie d'accord sur les modalités de la fin des rapports de travail - est valable, que l'employé n'avait pas le droit d'agir en justice sous peine de devoir rembourser le montant de 1'050'000 USD qu'il a reçu et qu'ayant violé cet accord, il doit rembourser ce montant; subsidiairement, elle invoque que cet accord est entièrement nul et que l'employé doit lui restituer le montant de 1'050'000 USD au titre de l'enrichissement illégitime.
L'employé soutient que, implicitement, cet accord - qu'il qualifie aussi d'accord sur les modalités de la fin des rapports de travail -, ne l'empêchait pas de faire contrôler en justice l'existence de concessions réciproques des parties, qu'il n'y a pas eu de concessions réciproques et que l'accord est donc nul, de sorte que l'employeuse lui doit une indemnité pour licenciement abusif (de 716'437 fr. 50 avec intérêts) et les deux dernières tranches de bonus qu'il aurait reçues si son contrat de travail n'avait pas été abusivement résilié avant le 31 décembre 2013, de sorte que, puisque 1'050'000 USD lui ont déjà été versés, il lui reste dû un solde de 1'050'000 USD avec intérêts.
3.2. Il s'impose donc, en premier lieu, de qualifier l'accord conclu les 18 novembre/10 décembre 2013 - convention de résiliation ou transaction sur la fin des rapports de travail (cf. infra consid. 4). En deuxième lieu, il conviendra d'examiner si cet accord est valable totalement ou partiellement au regard de la clause de renonciation à agir en justice et de la clause de restitution (cf. infra consid. 5). En troisième lieu, il s'agira, dans l'affirmative, de contrôler si les parties se sont fait des concessions réciproques de valeur comparable (cf. infra consid. 6), ce qui impliquera d'examiner les questions du principe de l'accessoriété et de l'interprétation du bonus agreement du 10 décembre 2012.
4.
En ce qui concerne la qualification de l'accord des 18 novembre /10 décembre 2013, la cour cantonale a parlé à plusieurs reprises de convention de résiliation. L'employeuse conteste cette qualification, reprochant à la cour de n'avoir pas réellement motivé sa décision et de n'avoir pas retenu une volonté de régler les modalités de la fin des rapports de travail (violation de l'art. 29 al. 2 Cst., arbitraire dans l'interprétation de la volonté réelle et violation de l'interprétation de la volonté objective des parties). L'employé croit que la cour cantonale a retenu un accord sur les modalités de la fin des rapports de travail, ce qu'il admet, relevant que la question n'a jamais posé problème et que la qualification n'a de toute façon aucun impact sur le résultat.
4.1. Aux termes de l'art. 341 al. 1 CO, le travailleur ne peut pas renoncer, pendant la durée du contrat et durant le mois qui suit la fin de celui-ci, aux créances résultant de dispositions impératives de la loi ou d'une convention collective. Cette disposition ne prohibe que la renonciation unilatérale du travailleur à des droits qu'elle protège.
4.1.1. L'art. 341 al. 1 CO n'interdit pas aux parties de rompre en tout temps le contrat de travail d'un commun accord (convention de résiliation; Aufhebungsvertrag), les parties empêchant ainsi la naissance de nouvelles prétentions. Si toutefois leur convention emporte renonciation du travailleur à des prétentions (existantes) de droit impératif, un tel accord n'est valable que sous la forme d'une véritable transaction, comprenant des concessions d'importance comparable de la part de chaque partie (ATF 136 III 467 consid. 4.5; 119 II 449 consid. 2a p. 450; 118 II 58 consid. 2b p. 61; arrêts 4A_96/2017 du 14 décembre 2017 consid. 3.1; 4A_673/2016 du 3 juillet 2017 consid. 4.1; 4A_563/2011 du 19 janvier 2012 consid. 4.1).
En passant une convention de résiliation, le travailleur perd ses droits à la protection contre les licenciements abusifs (art. 336 ss CO) (arrêt 4A_563/2011 précité consid. 4.1; WYLER/HEINZER, Droit du travail, 3e éd. 2014, p. 526); en particulier, l'art. 336c CO ne s'applique plus (arrêt 4C.27/2002 du 19 avril 2002 consid. 2).
4.1.2. L'art. 341 al. 1 CO ne fait pas non plus obstacle à une transaction (Vergleich) sur les modalités de la fin des rapports de travail, à condition qu'il y ait une équivalence appropriée des concessions réciproques, c'est-à-dire que les prétentions auxquelles chaque partie renonce soient de valeur comparable. Le travailleur ne peut pas disposer librement des créances résultant de dispositions impératives de la loi ou d'une convention collective et, en particulier, il ne peut pas y renoncer sans contrepartie correspondante (ATF 136 III 467 consid. 4.5 p. 471; 118 II 58 consid. 2b p. 61; 110 II 168 consid. 3b p. 171; arrêts 4A_96/2017 précité consid. 3.1; 4A_25/2014 du 7 avril 2014 consid. 6.2). La transaction ne visant que les modalités de la fin des rapports de travail (et non en soi la résiliation du rapport contractuel), les dispositions légales relatives à la protection contre les congés (art. 336 ss CO, en particulier l'art. 336c CO) ne sont pas concernées et les parties y restent soumises. Ainsi, lorsque l'employeur résilie unilatéralement le contrat et qu'il passe simultanément ou postérieurement un accord régissant les modalités de la fin du contrat, l'acceptation de la résiliation par l'employé est à elle seule insuffisante pour admettre qu'il a renoncé (implicitement) à la protection que lui assurent les art. 336 ss CO (arrêt 4C.27/2002 précité consid. 2).
4.1.3. Ces deux accords se distinguent en ce sens que la convention de résiliation vise à empêcher la naissance de nouvelles prétentions, tandis que la transaction (régissant les modalités de la fin des rapports de travail) implique la renonciation à des prétentions existantes (et, partant, présuppose le respect des exigences tirées de l'art. 341 al. 1 CO) (PORTMANN/RUDOLPH, in Basler Kommentar, Obligationenrecht I, 6e éd. 2015, no 6 ad art. 341 CO). Dès lors, si les parties entendaient exclure la protection conférée au travailleur par les art. 336 ss CO, l'accord sera qualifié de convention de résiliation (qui présuppose la renonciation à une éventuelle contestation future du congé); dans la situation inverse (la protection des art. 336 ss CO n'est pas écartée), l'accord sera qualifié de transaction.
4.2. Savoir si les parties ont passé l'un ou l'autre de ces deux accords et, partant, la qualification juridique de leur accord, est affaire d'interprétation de leurs manifestations de volonté, conformément aux principes développés par la jurisprudence et donc sans égard aux termes inexacts dont elles ont pu se servir (art. 18 al. 1 CO) (sur les principes d'interprétation des contrats en général, cf. ATF 144 III 93 consid. 5.2 p. 97 ss).
4.2.1. La cour cantonale, qui avait exposé en vrac la jurisprudence sur ces deux types d'accord, a utilisé à plusieurs reprises dans la subsomption le terme de " convention de résiliation ", ce que l'employeuse lui reproche, dans son recours principal (invoquant l'arbitraire, la violation du devoir de motivation et la violation de l'interprétation de la volonté subjective, respectivement objective des parties) et à quoi l'employé rétorque que la cour a retenu un accord sur les modalités de la fin des rapports de travail.
La cour cantonale s'étant prononcée en faveur de la convention de résiliation, on ne saurait lui reprocher un défaut de motivation (art. 29 al. 2 Cst.). Le fait que les deux parties soient désormais d'accord sur ce qu'elles appellent un accord sur la fin des rapports de travail ne signifie pas que leur qualification soit conforme à la jurisprudence.
En l'occurrence, il résulte clairement de l'accord conclu par les parties que l'employé s'est engagé à ne déposer aucune action devant un tribunal découlant de l'emploi et/ou de sa résiliation - ce qui revient à renoncer à une éventuelle prétention future découlant de règles impératives, notamment à son droit de contester la résiliation ordinaire qui lui a été signifiée au motif qu'elle serait abusive -: l'accord doit donc être qualifié de convention de résiliation ( Aufhebungsvertrag), que l'on se fonde sur la volonté réelle des parties ou, subsidiairement, comme semble le faire la cour cantonale, sur le principe de la confiance. Le fait que la date fixée pour la fin du contrat de travail, le 31 janvier 2014, qui résulte de la résiliation communiquée par l'employeuse, n'ait pas été modifiée par la convention n'y change rien.
Le fait que les parties aient, comme le soutient l'employeuse (alors qu'elle n'y a aucun intérêt, qu'elle se fonde sur des faits non constatés et qu'elle ne les critique pas de manière conforme à l'art. 106 al. 2 LTF), réglé le cas d'un report de la fin du contrat pour cause de maladie par exemple, en prévoyant une réduction de 25'000 fr. par mois de l'indemnité due, est bien la preuve que les parties ont entendu régler différemment les hypothèses visées par les art. 336 ss CO.
Partant, les parties ont conclu une convention de résiliation ( Aufhebungsvertrag), laquelle exclut la protection des art. 336 ss CO.
5.
Il y a lieu d'examiner maintenant la validité (totale ou partielle) de cette convention de résiliation ( Aufhebungsvertrag), au vu des clauses de renonciation à agir en justice (cf. infra consid. 5.1 à 5.5) et de restitution de l'indemnité convenue (peine conventionnelle) en cas de non-respect (cf. infra consid. 5.6). L'employé soutient que seules ces clauses sont nulles (art. 20 al. 2 CO), alors que l'employeuse soutient principalement que ces clauses sont valables et, subsidiairement, que si elles étaient jugées non valables, elles entraîneraient la nullité de toute la convention et, partant, l'obligation pour l'employé de restituer le montant de 1'050'000 USD conformément aux règles de l'enrichissement illégitime (art. 62 ss CO).
5.1. L'art. 341 al. 1 CO est de droit relativement impératif, en ce sens qu'il est impossible d'y déroger au détriment de l'employé en vertu de l'art. 362 al. 1 CO. Il interdit au travailleur de renoncer unilatéralement aux créances que lui garantissent des dispositions impératives, mais il n'interdit pas aux parties de passer une convention de résiliation comprenant des concessions réciproques d'importance comparable de la part de chaque partie (cf. supra consid. 4.1.1).
Si le travailleur ne peut pas renoncer à des créances garanties par des dispositions impératives, il ne peut pas non plus renoncer à la disposition légale - l'art. 341 al. 1 CO - qui le lui interdit. Il en découle que la clause par laquelle le travailleur renonce au droit de faire contrôler judiciairement que l'art. 341 al. 1 CO a été respecté, en d'autres termes de faire vérifier par le juge si les concessions qu'il a faites sont compensées par des concessions d'importance comparable de l'employeur, est nulle.
Mais si la convention comporte de telles concessions, la clause par laquelle l'employé renonce à contester la validité de son licenciement (ordinaire) et à réclamer les prestations qu'il aurait touchées en cas de licenciement abusif est valable.
Il y a donc lieu de vérifier désormais si la convention de résiliation est valable parce qu'elle comportait, au moment de sa conclusion, des concessions réciproques d'importance comparable de la part des parties.
5.2.
5.2.1. Par définition, la transaction a pour but de mettre définitivement fin au litige et aux incertitudes existantes moyennant des concessions réciproques (ATF 132 III 737 consid. 1.3 p. 740). Elle est précisément conclue pour éviter un examen complet des faits et de leur portée juridique.
Il en résulte que les art. 23 ss CO - ces dispositions n'entrant en l'espèce pas en ligne de compte - ne s'appliquent qu'avec des restrictions en matière de transactions (arrêt 5A_688/2013 du 14 avril 2014 consid. 8.2; SCHMIDLIN, Berner Kommentar, Obligationenrecht, Mängel des Vertragsabschlusses, Art. 23-31 OR, 3ème éd. 2013, no 281 et 295 s. ad art. 23/24 CO).
Lorsqu'il vérifie si la convention de résiliation, qui est une transaction, respecte l'art. 341 al. 1 CO, le tribunal doit s'assurer que la renonciation du travailleur soit compensée par une prestation comparable de l'employeur. Comme la transaction a pour but de résoudre une situation incertaine et litigieuse, il ne faut pas poser des exigences trop strictes pour admettre sa validité; il est suffisamment tenu compte du besoin de protection du travailleur si la transaction conduit à un règlement équitable de la situation (cf. arrêts 4A_96/2017 du 14 décembre 2017 consid. 3.2; 4A_103/2010 du 16 mars 2010 consid. 2.3.3 et 2.3.4; 4C.390/2005 du 2 mai 2006 consid. 3.1; 4C.27/2002 du 19 avril 2002 consid. 3c; STAEHELIN/VISCHER, Zürcher Kommentar, 1996, no 13 ad art. 341 CO; BOHNET/DIETSCHY, in Commentaire du contrat de travail, Dunand/Mahon [éd.], 2013, no 21 ad art. 341 CO).
5.2.2. En l'espèce, il s'impose de déterminer tout d'abord quelles sont les concessions réciproques à comparer. Il s'agit, d'une part, de la renonciation de l'employé à contester en justice le congé ordinaire donné pour le 31 janvier 2014 et, d'autre part, la prestation de 1'050'000 USD de l'employeuse, correspondant à la deuxième tranche du bonus échue au 31 janvier 2014.
Contrairement à ce qu'a fait la cour cantonale, il ne s'agissait pas de se prononcer sur l'existence d'un congé abusif ou non, en d'autres termes de faire le procès pour licenciement abusif de l'art. 336b CO. La convention de résiliation exclut l'application des art. 336 ss CO et, en particulier, l'art. 336 al. 1 let. c CO invoqué par l'employé. La seule question à résoudre est d'examiner si l'employeuse a fait de son côté une concession, comparable, ce que l'employé conteste en invoquant que les deux dernières tranches du bonus (de 1'050'000 USD due au 31 janvier 2014 et de 1'050'000 USD due au 31 janvier 2015) sont en réalité du salaire (cf. infra consid. 5.3) et, subsidiairement, qu'il a droit au paiement de ces deux tranches en vertu de la convention de bonus ( bonus agreement) du 10 décembre 2012 (cf. infra consid. 5.4).
5.3. Il y a donc lieu d'examiner tout d'abord si ces deux dernières tranches du bonus devaient être converties en salaire en vertu du principe de l'accessoriété, auquel cas il n'y aurait aucune concession de la part de l'employeuse.
5.3.1. Le droit suisse ne contient aucune disposition qui traite spécifiquement du bonus, lequel peut consister dans le versement d'une somme d'argent ou encore dans la remise d'actions ou d'options (ATF 141 III 407 consid. 4.1). Selon la volonté des parties lors de la conclusion du contrat de travail ou sur la base de leur comportement ultérieur au cours des rapports de travail (accord par actes concluants, c'est-à-dire tacite), le bonus peut être un élément variable du salaire (art. 322 s. CO), une gratification à laquelle l'employé a droit ou encore une gratification à laquelle il n'a pas un droit (art. 322d CO) (sur la distinction entre salaire variable, gratification à laquelle l'employé a droit et celle à laquelle il n'a pas droit, cf. la jurisprudence résumée dans les arrêts 4A_463/2017 du 4 mai 2018 consid. 3; 4A_290/2017 du 12 mars 2018 consid. 4; 4A_714/2016 du 29 août 2017 consid. 3).
L'employé ne conteste pas que le bonus de 3'750'000 USD (calculé sur les chiffres de l'année 2012 et payable en trois tranches, à savoir de 1'650'000 USD au 31 janvier 2013, de 1'050'000 USD au 31 janvier 2014 et de 1'050'000 USD au 31 janvier 2015), doive être qualifié de gratification au sens de l'art. 322d CO, et non de salaire variable au sens de l'art. 322 CO. Mais il soutient qu'en vertu du principe de l'accessoriété, la rétribution du travailleur ne peut pas consister uniquement ou principalement en une gratification.
5.3.2. La question de la conversion de la gratification en salaire en vertu du principe de l'accessoriété ne se pose que lorsque l'employeur a réservé le caractère facultatif du bonus, dans son principe et dans son montant, et que l'employé n'a donc pas un droit contractuel au versement du bonus qui est une gratification au sens de l'art. 322d CO.
5.3.2.1. Selon la jurisprudence, en vertu du principe de l'accessoriété, le bonus (gratification) ne peut avoir qu'un caractère accessoire par rapport au salaire de base du travailleur: il n'est pas concevable que dans le cadre d'un contrat de travail, la rétribution du travailleur consiste uniquement ou principalement en une gratification. La gratification, qui doit rester un élément accessoire du salaire de base, ne peut aller au-delà d'un certain pourcentage de ce salaire de base convenu (ATF 129 III 276 consid. 2.1 p. 279 s.; 141 III 407 consid. 4.3.2 p. 409; 139 III 155 consid. 5.3 p. 159). Le besoin de protection du travailleur doit l'emporter sur la liberté contractuelle des parties; l'application du principe de l'accessoriété peut enlever toute portée à la réserve du caractère facultatif du bonus et celui-ci peut devoir être requalifié en salaire (ATF 141 III 407 consid. 4.3.2; arrêt 4A_714/2016 précité consid. 3.3 in fine).
Le critère de l'accessoriété, en vertu duquel le bonus doit être requalifié en salaire, ne s'applique toutefois que pour les salaires modestes et les salaires moyens et supérieurs (pour plus de détails, cf. l'arrêt 4A_714/2016 précité consid. 3.3.2 et 3.3.3).
Pour les très hauts revenus, le principe de la liberté contractuelle doit primer, car il n'y a pas dans ce cas de besoin de protection du travailleur qui justifierait une requalification du bonus ou d'une part du bonus en salaire en vertu du principe de l'accessoriété (ATF 141 III 407 consid. 4.3.2 et 5.3.1). Le bonus est donc toujours une gratification facultative à laquelle l'employé n'a pas droit. Le seuil du très haut revenu a été fixé à un montant équivalent à cinq fois (5x) le salaire médian suisse (secteur privé), soit, pour l'année 2009 (à titre d'exemple), un montant de 354'000 fr. (ATF 141 III 407 consid. 5.4 p. 415).
Pour déterminer si l'employé réalise un très haut revenu dans le cas concret, il faut tenir compte, en s'inspirant des principes du droit fiscal, de la rémunération (effective) de l'employé qui est représentative des revenus qu'il a régulièrement perçus. En règle générale, il faut prendre en considération les revenus effectivement perçus par l'employé durant l'année (ATF 142 III 456 consid. 3.2 p. 460, 381 consid. 2.2 à 2.4 p. 383 ss; 141 III 407 consid. 5.3 et 5.4 p. 412 ss; arrêt 4A_485/2016 du 28 avril 2017 consid. 4.3), par quoi il faut entendre la dernière année complète d'activité auprès de l'employeur. Exceptionnellement, la représentativité sera toutefois mieux assurée si l'on tient compte de la rémunération effectivement perçue durant la période litigieuse (ATF 142 III 456 consid. 3.2 p. 460 et les arrêts cités) : il y a lieu d'entendre par là la période d'activité pour laquelle le bonus est réclamé par l'employé; en effet, lorsque les parties ne sont plus liées par un contrat de travail, l'employé n'a plus droit à un salaire et, partant, la question de l'accessoriété du bonus ne peut plus se poser (ATF 141 III 407 consid. 7 p. 417); la prise en considération de cette période sera en particulier plus adaptée lorsque l'employé a exercé son activité professionnelle seulement pendant quelques mois durant la seconde année litigieuse (ATF 142 III 456 consid. 3.2 p. 460 et les arrêts cités).
Si la rémunération totale de l'employé atteint ou dépasse le seuil du très haut revenu (3 354'000 fr. pour l'année 2009), le bonus demeure une gratification facultative à laquelle l'employé n'a pas droit et une requalification en salaire est exclue (ATF 141 III 407 consid. 4.3.2 et 5.3.1).
5.3.2.2. En l'espèce, par courrier de l'employeuse du 10 décembre 2012, signé par l'employé le 21 décembre 2012, l'employeuse a fixé le bonus dû à l'employé sur la base des chiffres de l'année comptable 2012 (l'exercice annuel pris en considération courant du 1er novembre 2011 au 31 octobre 2012) au montant de 3'750'000 USD, payable en trois tranches de 1'650'000 USD au 31 janvier 2013, de 1'050'000 USD au 31 janvier 2014 et de 1'050'000 USD au 31 janvier 2015. Le paiement de ces montants était soumis aux conditions que l'employé ne donne pas sa démission ou qu'il ne fasse pas l'objet d'un licenciement avant le 31 décembre de l'année précédant la date du paiement de chacune de ces tranches.
Comme l'employé a exercé son activité durant toute l'année 2013 et un mois seulement en 2014 (jusqu'au 31 janvier 2014) et que sa rémunération perçue pendant le seul mois de janvier 2014 n'est pas représentative des revenus précédemment réalisés, il convient de se fonder sur l'ensemble de la rémunération qu'il a perçue durant la période 2013 et 2014 (soit 13 mois). Contrairement à ce que soutient l'employé, l'année représentative n'est donc pas l'année dont les chiffres ont servi à calculer le bonus ( in casu, l'année 2012), mais la dernière année d'activité ou, plus précisément en l'espèce, la dernière période représentative de 13 mois.
Il ressort de l'arrêt attaqué que, durant cette période, l'employé a perçu son salaire de base à raison de 325'000 fr., la première tranche du bonus versé en janvier 2013 de 1'528'726 fr. 15 et l'indemnité correspondant à la deuxième tranche du bonus versée en janvier 2014 de 940'262 fr. Sa rémunération annualisée durant cette période doit à l'évidence être qualifiée de très haut revenu, de sorte que la liberté contractuelle prévaut. Contrairement à ce que l'employé soutient, le fait que, pour l'année 2011 (sa première année d'activité), aucun bonus ne lui ait été versé en 2012 n'est pas déterminant. D'ailleurs, même si l'on tenait compte de toute la durée d'activité de l'employé au service de la société (de 2011 au 31 janvier 2014), on devrait aussi retenir l'existence d'un très haut revenu.
Le principe de l'accessoriété ne s'applique donc pas et les deux dernières tranches du bonus n'ont donc pas à être reconverties en salaire.
5.4. Subsidiairement, l'employé soutient qu'il avait un droit contractuel au paiement des deux dernières tranches du bonus en vertu de la convention de bonus du 10/21 décembre 2012 ( bonus agreement); selon lui, la cour cantonale est partie arbitrairement du fait que l'interprétation de la condition de l'absence de résiliation avant le 31 décembre n'était pas contestée par les parties et n'a donc pas recherché la volonté réelle, ni la volonté objective des parties. Dans sa réponse, l'employeuse soutient principalement que l'employé n'a jamais allégué ni dans sa demande, ni dans son appel, une divergence d'interprétation en relation avec cette condition avant ses plaidoiries finales du 29 mai 2017 devant la Cour de justice, de sorte que ce grief se fonde sur un fait nouveau et est, partant, irrecevable; subsidiairement, elle soutient qu'il ne motive pas, conformément à l'art. 106 al. 2 LTF, en quoi la cour cantonale aurait arbitrairement compris que les parties étaient d'accord sur l'interprétation de cette condition; plus subsidiairement, elle en propose sa propre interprétation objective. Dans sa réplique, l'employé se limite à réaffirmer qu'il a fait valoir ce grief dans ses observations du 29 mai 2017 et, subsidiairement, qu'il faut procéder à une interprétation objective du bonus agreement, qui est une question de droit.
Or, les deux clauses litigieuses relatives à cette condition, à laquelle est soumise le paiement du bonus (4 al. 1 let. b et 4 al. 2), ont été interprétées (sans aucune référence à la bonne foi et donc par interprétation subjective) par le tribunal de première instance (le tribunal des prud'hommes) en ce sens que l'employé n'avait pas droit au paiement des deux dernières tranches du bonus, ayant été licencié au mois de novembre 2013, et qu'en vertu de l'art. 4 al. 2, la société employeuse pouvait décider à sa seule discrétion de payer au demandeur une partie de ce bonus additionnel, ce qu'elle a fait au travers de la convention de résiliation. Force est de constater que l'employé recourant n'indique pas qu'il aurait critiqué dans son appel cette interprétation subjective de ces deux clauses par le tribunal de première instance. Faute d'avoir été soumis à la cour d'appel, son grief (d'arbitraire) est ainsi nouveau et, partant, irrecevable (art. 75 al. 2 et 99 al. 2 LTF). Au demeurant, on voit mal comment il peut considérer que les parties avaient une volonté réelle et commune de lui conférer un droit au bonus en l'absence de motif grave de résiliation du contrat de travail dès lors que la clause 4 al. 2 est ainsi libellée: " ...the Compagny may, in its sole and absolute discretion, authorize payment of any additionnal bonus payment... ".
Il s'ensuit que l'employé n'avait pas un droit conventionnel aux deux dernières tranches du bonus.
5.5. L'employé n'ayant aucun droit aux deux dernières tranches du bonus, il y a bien eu une concession de 1'050'000 USD de la part de l'employeuse. Reste à examiner si celle-ci est de valeur comparable à celle faite par l'employé.
La cour cantonale a considéré que l'employé avait eu un temps de réflexion suffisant avant l'acceptation de la convention de résiliation, et a constaté qu'il n'invoque aucune vice du consentement. La convention de résiliation est donc valable sous cet angle.
D'un côté, l'employé a renoncé à contester le congé ordinaire qu'il a reçu et, partant, à la protection des art. 336 ss CO et, de l'autre, l'employeuse a accepté de payer le montant de 1'050'000 USD, soit la moitié des gratifications discrétionnaires différées qui n'étaient pas dues, le contrat de travail ayant été résilié avant le 31 décembre avant leur date de paiement. Il y a lieu d'admettre que le versement de la moitié du solde du bonus discrétionnaire compense largement la renonciation de l'employé et, partant, qu'il s'agit d'une concession équivalente selon la jurisprudence. Une autre interprétation reviendrait à interdire à tout employeur de différer des bonus.
D'ailleurs, les deux seules critiques que formule l'employé ont trait à la conversion en salaire en vertu du principe de l'accessoriété et, subsidiairement, au droit conventionnel aux deux dernières tranches du bonus, dont le sort a été réglé ci-devant.
5.6. La première clause contractuelle (cf. supra let. A.c) étant nulle en tant qu'elle interdit toute action menée en vue de faire contrôler l'équivalence des prestations, la deuxième clause ne saurait prévoir le paiement d'une peine conventionnelle (restitution de l'indemnité convenue) en cas de violation de la première clause. En tant qu'elle porte sur ce point, la peine conventionnelle est (partiellement) nulle.
Dès lors que les concessions réciproques sont jugées comparables, la deuxième clause est toutefois valable en tant qu'elle vise l'action en contestation du licenciement et en paiement d'indemnités pour licenciement abusif menée par l'employé.
L'employé a dès lors violé une partie (valable) de l'accord, ce qui entraîne l'exigibilité du montant de la peine conventionnelle (qui prévoit la restitution de l'indemnité convenue). Ce montant doit toutefois être réduit, afin de tenir compte de la partie nulle de l'accord.
6.
Il reste à fixer le montant de la peine conventionnelle en fonction des clauses dont la validité vient d'être confirmée. La cause est renvoyée à l'autorité précédente pour qu'elle y procède.
La cour cantonale tiendra compte de ce que les parties seraient convenues d'une peine conventionnelle d'un montant inférieur à celui initialement prévu (1'050'000 USD), puisqu'il convient dorénavant de le déterminer (hypothétiquement) en fonction de la transgression de la seule interdiction faite à l'employé de contester la validité du licenciement ordinaire et de réclamer les prestations qu'il aurait touchées en cas de licenciement abusif.
Concrètement, l'autorité cantonale se basera en particulier sur les allégués des parties et, d'autre part, sur les règles posées par le Tribunal fédéral s'agissant de l'allégation et de la preuve des conditions de fait permettant la réduction d'une peine conventionnelle excessive (ATF 143 III 1).
7.
Il résulte des considérations qui précèdent que le recours de l'employé doit être rejeté dans la mesure où il est recevable. Le recours de l'employeuse doit être partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
Sur recours de l'employé, les frais de la procédure sont arrêtés à 17'000 fr. et mis à la charge de celui-ci; les dépens en faveur de l'employeuse doivent être fixés à 19'000 fr.
Sur recours de l'employeuse, l'arrêt entrepris a été annulé. La Cour de céans a considéré que l'accord litigieux était partiellement valable (en tant qu'il interdit à l'employé d'agir en contestation du licenciement et en paiement d'indemnités pour licenciement abusif) et partiellement nul (en tant qu'il lui interdit d'agir pour faire contrôler l'équivalence des prestations) (cf. supra consid. 5.6). Sur le premier point, l'employeuse obtient gain de cause, l'affaire étant renvoyée à la cour précédente; sur le second point, elle succombe partiellement. Dans ces conditions, les frais judiciaires, arrêtés à 10'000 fr., seront mis à la charge de l'employeuse à raison d'un tiers (3'333 fr.) et à la charge de l'employé à raison de deux tiers (6'667 fr.). L'employé versera à l'employeuse des dépens réduits, arrêtés à 4'000 fr.
En définitive, l'employé versera 23'667 fr. à titre de frais judiciaires et un montant de 23'000 fr. à l'employeuse à titre de dépens. L'employeuse s'acquittera de 3'333 fr. à titre de frais judiciaires.
Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 4A_13/2018 et 4A_17/2018 sont jointes.
2.
Le recours de l'employé dans la cause 4A_13/2018 est rejeté dans la mesure où il est recevable.
3.
Le recours de l'employeuse dans la cause 4A_17/2017 est partiellement admis, l'arrêt cantonal est annulé et la cause est renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
4.
Les frais judiciaires résultant des deux procédures (jointes), arrêtés à 27'000 fr., sont mis à la charge de l'employé pour 23'667 fr. et à la charge de l'employeuse pour 3'333 fr.
5.
L'employé versera à l'employeuse un montant de 23'000 fr. à titre de dépens réduits.
6.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre des prud'hommes.
Lausanne, le 23 octobre 2018
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget