Faits :
A.
A.a. Le 19 février 1998, X._ (ci-après: l'employé ou le demandeur), né le 29 janvier 1964, a été engagé par la banque Z1._ SA, devenue en 2000 Z2._ SA, puis en 2001 Z._ SA (ci-après: la banque, l'employeuse ou la défenderesse).
Selon son contrat de travail, la banque est libre de verser, pendant la durée des rapports de travail, un bonus discrétionnaire, lequel tient compte des performances personnelles, sans que cela constitue une quelconque obligation légale; le montant du bonus est déterminé par la banque, à sa seule et unique discrétion. Le Règlement du personnel prévoit également le caractère facultatif du bonus: celui-ci ne fait pas partie intégrante du salaire et son versement, même régulier, n'implique pas une obligation légale ou un droit acquis pour les années à venir. Selon les clauses relatives au bonus et au plan d'intéressement de la banque, les employés qui quittent la banque avant son versement sont déchus de leurs droits. Il a été constaté que l'employé connaissait la règle selon laquelle le bonus annuel n'était versé que si les rapports de travail n'étaient pas résiliés.
En outre, en ce qui concerne plus particulièrement les bonus sous forme d'actions bloquées de Z._ Holdings, ils étaient soumis au plan d'intéressement de la banque, régi par les "... of Z._ Share plan 2011 ", lesquelles prévoient que toute action non libérée détenue par un participant est immédiatement perdue à la date à laquelle il cesse d'être employé du groupe. Cette pénalité ne s'applique toutefois pas aux employés quittant la société avec le statut de " Good Leaver ", à savoir les employés victimes d'un licenciement collectif, ceux pour qui le contrat a pris fin pour cause d'invalidité ou encore ceux à qui les responsables de la banque décident d'accorder ce statut.
A.b. L'employé a occupé différentes fonctions dans la banque: adjoint à la direction (dès 1999), membre de la direction (dès 2004), managing director (dès 2005) et business sector head (dès 2009); sa supérieure hiérarchique était A._. Dès mars 2011, l'employé a été nommé " Senior Advisor Front "; son supérieur hiérarchique direct était B._, responsable du département Private Banking; l'employé disposait d'une liste de clients déterminés et devait assister son supérieur, ainsi que C._ et D._ dans les différentes activités de la banque.
Au cours des années, il a donné pleine satisfaction à son employeuse et obtenu d'excellentes évaluations en fin d'année. Il a ainsi bénéficié d'augmentations de salaire et perçu plusieurs bonus. Lors du versement des bonus, sous forme d'espèces ou d'actions bloquées, l'attention de l'employé a été attirée sur le caractère discrétionnaire de ces attributions, le versement étant toujours accompagné d'une réserve. Il était au surplus renvoyé aux règles du " share plan ", lesquelles prévoient le caractère facultatif du bonus.
Ainsi, en 2007, l'employé a perçu son salaire de 425'000 fr., un bonus en espèces de 650'000 fr. et des actions bloquées d'une valeur de 1'350'000 fr., soit au total 2'425'000 fr.; en 2008, un salaire de 425'000 fr., un bonus en espèces de 634'000 fr. et des actions bloquées de 1'466'000 fr., soit au total 2'525'005 fr.; en 2009, un salaire de 425'000 fr., un bonus de 700'000 fr. et des actions bloquées de 1'050'000 fr., soit au total 2'175'000 fr.; en 2010, un salaire de 425'000 fr., un bonus en espèces de 1'000'000 fr. et des actions bloquées de 1'000'000 fr., soit au total 2'425'000 fr.; en 2011, un salaire de 430'807 fr.; les bonus en espèces et en actions ne lui ont pas été versés et sont litigieux.
A.c. Avant l'affaire qui a conduit à son licenciement, l'employé avait déjà reçu un courrier d'avertissement de son employeuse du 9 mars 2011 pour violation des directives internes de la banque et avait été informé des graves conséquences qu'aurait une nouvelle violation des normes internes de la banque. L'employé a admis avoir commis les actes qui lui étaient reprochés et s'est excusé, promettant que cela ne se reproduirait pas.
Pendant l'année 2010, l'employé a mis en relation deux clients de la banque: M._ et N._. Un litige est survenu entre ceux-ci et l'employé a joué un rôle d'intermédiaire entre eux.
C'est le comportement de l'employé dans cette affaire qui conduira la banque à le suspendre de son poste le 13 septembre 2011, puis à lui notifier son congé (ordinaire) le 14 novembre 2011 pour le 31 mai 2012, pour cause de perte de confiance. Ce comportement sera examiné en détail dans la partie " En droit ".
L'employé a contesté le congé le 20 décembre 2011, soit pendant le délai de congé.
La banque a refusé de lui verser les bonus en espèces pour les années 2011 et 2012 et les bonus en actions bloquées selon le plan d'intéressement de la banque.
B.
Le 15 mars 2012, l'employé a ouvert action en paiement contre son employeuse et, ensuite de l'échec de la tentative de conciliation, a déposé sa demande devant le Tribunal des prud'hommes du canton de Genève le 28 juin 2012, concluant au paiement d'un montant total de 4'048'737 fr. 50. Il réclame 1'215'403 fr. 50 au titre d'indemnité de licenciement abusif, 2'000'000 fr. au titre de bonus pour l'année 2011, 833'334 fr. pour 5/12 du bonus de l'année 2012 et la remise de 497'709 actions bloquées de Z._ Holdings.
Par jugement du 12 janvier 2017, le tribunal des prud'hommes a rejeté la demande de l'employé.
Statuant le 14 décembre 2017 sur l'appel du demandeur, la Chambre des prud'hommes de la Cour de justice l'a rejeté.
C.
Contre cet arrêt, le demandeur a interjeté un recours en matière civile au Tribunal fédéral le 1er février 2018, concluant principalement à sa réforme en ce sens que la banque soit condamnée à lui payer les montants de 1'215'403 fr. 50 (à titre d'indemnité de licenciement), de 2'000'000 fr. (à titre de bonus pour l'année 2011) et de 833'334 fr. (pour 5/12 du bonus de l'année 2012), ainsi qu'à lui remettre 492'709 actions; subsidiairement il conclut à l'annulation de cet arrêt et au renvoi de la cause à la cour cantonale pour instruction et nouvelle décision. Il formule des griefs d'arbitraire en fait, se plaint de déni de justice en violation de l'art. 29 al 1 Cst., d'un défaut de motivation en violation des art. 29 al. 2 Cst. et 53 CPC et d'une violation de l'art. 336 al. 1 let. c CO.
La cour cantonale se réfère aux considérants de son arrêt.
La banque intimée conclut au rejet du recours.
Les parties ont encore chacune déposé des observations.
Considérant en droit :
1.
1.1. Interjeté en temps utile (art. 100 al. 1 LTF), compte tenu de la notification de l'arrêt cantonal pendant les féries de Noël (art. 46 al. 1 let. c LTF), par la partie demanderesse qui a succombé dans ses conclusions en paiement et qui a donc qualité pour recourir (art. 76 al. 1 LTF), dirigé contre une décision finale (art. 90 LTF) rendue en matière de contrat de travail (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. (art. 74 al. 1 let. a LTF), le recours en matière civile est en principe recevable.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2; 137 II 353 consid. 5.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (ATF 137 III 226 consid. 4.2; 136 III 552 consid. 4.2; 134 V 53 consid. 4.3; 133 II 249 consid. 1.4.3; 129 I 8 consid. 2.1).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (ATF 140 III 264 consid. 2.3 p. 266 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (ATF 140 III 16 consid. 1.3.1 p. 18 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (ATF 140 III 16 consid. 1.3.1 p. 18). Les critiques de nature appellatoire sont irrecevables (ATF 130 I 258 consid. 1.3 p. 261 s.).
Le complètement de l'état de fait ne relève pas de l'arbitraire - un fait non constaté ne peut pas être arbitraire, c'est-à-dire constaté de manière insoutenable -. Mais si un fait omis est juridiquement pertinent, le recourant peut obtenir qu'il soit constaté s'il démontre qu'en vertu des règles de la procédure civile, l'autorité précédente aurait objectivement pu en tenir compte et s'il désigne précisément les allégués et les offres de preuves qu'il lui avait présentés, avec référence aux pièces du dossier (art. 106 al. 2 LTF; ATF 140 III 86 consid. 2).
2.2. Sous réserve de la violation des droits constitutionnels (art. 106 al. 2 LTF), le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est toutefois lié ni par les motifs invoqués par les parties, ni par l'argumentation juridique retenue par l'autorité cantonale; il peut donc admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 135 III 397 consid. 1.4 et l'arrêt cité).
3.
En ce qui concerne son licenciement, l'employé recourant le qualifie d'abusif, invoquant, à différents endroits de son recours, deux griefs d'arbitraire en ce qui concerne l'état de fait, un défaut de motivation en violation des art. 29 al. 2 Cst. et 53 CPC et une violation du droit matériel, à savoir de l'art. 336 al. 1 let. c CO. Il réclame à ce titre une indemnité pour licenciement abusif de 1'215'403 fr. 50 (sans intérêts).
3.1.
3.1.1. Lorsque le contrat de travail est de durée indéterminée, chaque partie est en principe libre de le résilier (art. 335 al. 1 CO), moyennant le respect du délai et du terme de congé convenus ou légaux. Le droit suisse du contrat de travail repose en effet sur la liberté contractuelle. La résiliation ordinaire du contrat de travail ne suppose pas l'existence d'un motif de résiliation particulier (ATF 132 III 115 consid. 2.1; 131 III 535 consid. 4.1; 127 III 86 consid. 2a p. 88).
La limite à la liberté contractuelle découle des règles de l'abus de droit (art. 336 CO). La résiliation ordinaire du contrat de travail est abusive lorsqu'elle intervient dans l'une des situations énumérées à l'art. 336 al. 1 CO, lesquelles se rapportent aux motifs indiqués par la partie qui résilie (ATF 136 III 513 consid. 2.3; 132 III 115 consid. 2.4; 131 III 535 consid. 4.2). L'énumération de l'art. 336 al. 1 CO n'est pas exhaustive et un abus du droit de résiliation peut se révéler aussi dans d'autres situations qui apparaissent comparables, par leur gravité, aux hypothèses expressément visées par cette disposition (ATF 136 III 513 ibidem; 132 III 115 consid. 2; 131 III 535 consid. 4; arrêts 4A_485/2016 et 4A_491/2016 du 28 avril 2017, consid. 2.2.2).
Le congé est abusif, en particulier, lorsqu'il est donné seulement afin d'empêcher la naissance de prétentions juridiques de l'autre partie, résultant du contrat de travail (art. 336 al. 1 let. c CO). Comme l'application de cette disposition suppose que le congé soit exclusivement dicté par la volonté d'échapper à des prétentions juridiques de l'autre partie, l'existence d'un autre motif de congé, réel, suffit à exclure d'emblée une résiliation abusive (arrêt 4C.388/2006 du 30 janvier 2007 consid. 2).
Il incombe en principe au destinataire de la résiliation d'apporter la preuve d'un motif abusif; le juge peut cependant présumer un abus lorsque le motif avancé par l'employeur semble mensonger et que celui-ci ne parvient pas à en apporter la confirmation (ATF 130 III 699 consid. 4.1 p. 702/703; 123 III 246 consid. 4b).
Lorsque l'une des parties a résilié abusivement le contrat, l'art. 336a al. 1 et 2 CO autorise l'autre partie à réclamer une indemnité dont le juge fixe librement le montant en tenant compte de toutes les circonstances. En principe, elle ne peut pas dépasser le montant correspondant à six mois de salaire du travailleur (art. 336a al. 2 CO).
3.1.2. Pour pouvoir examiner si la résiliation ordinaire est abusive ou non (art. 336 CO), il faut déterminer quel est le motif de congé invoqué par la partie qui a résilié (ATF 132 III 115 consid. 2 p. 116; ATF 131 III 535 consid. 4 p. 537; 125 III 70 consid. 2 p. 72). La résiliation est une manifestation de volonté unilatérale, sujette à réception, par laquelle une partie met fin au contrat de travail, soit un acte formateur (ATF 123 III 246 consid. 3).
3.1.3. Le motif de la résiliation relève du fait (ATF 130 III 699 consid. 4.1 p. 702 s.) et les constatations de l'arrêt attaqué à ce sujet ne peuvent être attaquées que dans la mesure restreinte permise par l'art. 97 al. 1 LTF, à savoir pour arbitraire (art. 9 Cst.) dans les constatations de fait et l'appréciation des preuves.
En revanche, savoir si le motif ainsi établi satisfait aux exigences de l'art. 336 CO relève de l'application du droit, que le Tribunal fédéral revoit librement.
3.2. La cour cantonale a admis qu'il existe en l'espèce plusieurs motifs réels ayant entraîné une perte de confiance de la banque dans son employé, qui l'ont conduite à le licencier, de sorte qu'il est certain que le congé ne lui a pas été signifié dans le seul but de le priver de ses prétentions découlant du contrat de travail, mais qu'il est justement motivé par une perte de confiance. Elle a retenu tout d'abord que l'employé n'a pas transmis au service juridique le courrier du 13 janvier 2011 de l'avocat américain de N._, au sujet du litige entre M._ et N._, en violation de la directive interne de la banque relative aux plaintes des clients et, ensuite, toute une série d'irrégularités dans cette même affaire.
3.2.1. En ce qui concerne le courriel du 13 janvier 2011, il ressort des constatations de fait de l'arrêt attaqué que, pendant l'année 2010, l'employé a mis en relation deux clients de la banque, M._ et N._, assurant les contacts entre ces deux clients et apparaissant ainsi comme un intermédiaire. Le 13 janvier 2011, l'employé a reçu un courriel de l'avocat américain de N._, duquel il ressort que l'avocat souhaitait s'entretenir avec lui au sujet d'une affaire très importante concernant des fonds transférés à la banque et que des suites judiciaires n'étaient pas à exclure. La directive interne de la banque (" Customer Complaints Procedure ") prévoit la procédure à adopter en cas de plainte ou critique émanant de clients: l'employé est tenu d'avertir de la situation son supérieur hiérarchique et de transmettre un rapport au département Compliance; en outre, il doit documenter tous les contacts avec les clients sous forme de rapports téléphoniques ou de notes, lesquels doivent être entrés dans le système informatique. Or, l'employé s'est limité à transférer ledit courriel à l'autre client, M._, sans suivre la procédure prévue par la directive interne de la banque.
Toujours en janvier 2011, un échange de courriels a eu lieu entre l'employé et l'avocat américain de N._ dans le but de résoudre le litige survenu entre N._ et M._. L'employé a fait une contre-offre à N._ de 2 millions USD au nom de M._, sans que celui-ci ait donné son accord écrit. Le 5 février 2011, l'employé a confirmé à l'avocat de N._ que les fonds étaient prêts pour le paiement. Le 4 avril 2011 (art. 105 al. 2 LTF), M._ a indiqué à l'employé qu'il n'était pas autorisé à effectuer un transfert depuis son compte sans instruction écrite préalable de sa part. L'employé a bloqué le montant de 2 millions USD sur un compte ouvert auprès de la banque par une entreprise détenue par M._ (art. 105 al. 2 LTF). Le 5 avril 2011, une rencontre a eu lieu dans les locaux de la banque entre l'employé, M._ et l'avocat américain de N._.
Début mai 2011, un autre avocat de N._ a mis en demeure la banque de lui payer le montant de 2 millions USD.
Le 21 juin 2011, un nouvel avocat américain de N._ a prié l'employé d'effectuer le transfert convenu. Le 23 juin 2011, l'employé a demandé à M._ de lui donner son accord pour un transfert de 1'400'00 USD. Le 26 juin 2011, M._ a téléphoné à l'employé pour lui donner instruction de transférer le montant de 1'400'000 USD à N._. M._ a ensuite contesté avoir ordonné le transfert de cet argent. Le 5 juillet 2011, l'employé a créé a posteriori une note dans le système informatique, datée du 29 juin 2011, laquelle attestait qu'il avait parlé à M._ avant de procéder au transfert.
Le 18 août 2011 (art. 105 al. 2 LTF), Me E._, mandataire de M._, a contesté le transfert de 1'400'000 USD. Le service juridique de la banque a été chargé de répondre au courrier de cet avocat. Le 30 août 2011, il a invité l'employé à lui fournir des informations: l'employé lui a indiqué que M._ était un extorqueur vénézuélien et il lui a transmis une copie de l'accord passé entre N._ et M._.
3.2.2. Sur la base de ces faits, la cour cantonale a considéré que l'employé ne pouvait pas prétendre n'avoir jamais enfreint les directives internes de la banque. Par le courriel du 13 janvier 2011, l'avocat américain de N._ souhaitait s'entretenir avec l'employé au sujet d'une affaire très importante concernant un transfert de fonds à la banque et il espérait ainsi " pouvoir résoudre le conflit sans l'intervention des autorités ". Par ailleurs, l'employé a commis toute une série d'irrégularités. La cour cantonale en liste quatre: 1) l'employé a ordonné le transfert de 1'400'000 USD sur la base d'un appel téléphonique du client M._, sans en avoir reçu l'instruction écrite, ni soumis un tel ordre à son supérieur hiérarchique; 2) il n'a pas entré dans le système informatique de la banque les notes d'entretiens téléphoniques avec les clients, les avocats ou toute autre personne; 3) il a indiqué à l'avocat américain des informations relatives aux fonds détenus par M._ et a violé son devoir de confidentialité, portant ainsi atteinte à l'art. 47 LB; 4) il a manqué à son devoir de fidélité et de diligence à l'égard de son employeuse (art. 321a CO) et l'a mise dans une situation risquée ayant pu lui causer un dommage (art. 321e CO).
La cour cantonale en a conclu qu'il existe plusieurs motifs ayant entraîné une perte de confiance de la banque dans son employé et que la résiliation n'a donc pas été signifiée dans le but de priver celui-ci de ses prétentions découlant du contrat de travail. L'employeuse n'avait jamais rechigné à lui payer ses bonus au cours des années précédentes.
3.3. Le recourant entend tout d'abord obtenir le complètement de l'état de fait sur deux points: la mauvaise foi de M._ admise par la banque en ce qui concerne l'ordre oral de transfert du montant de 1'400'000 USD et l'absence de dommage subi par la banque dans cette affaire. Puis, invoquant la violation des art. 29 al. 2 Cst. et 53 CPC, il commence par critiquer les autres irrégularités, soutenant que les quatre reproches que lui fait la cour cantonale ne reposent sur aucun constat factuel, qu'il n'est ainsi pas possible de comprendre les raisons qui ont guidé la cour, quelles sont les notes d'entretiens qu'il aurait omises d'entrer dans le système informatique et pourquoi son transfert de 1'400'000 USD aurait été contraire à la réglementation de la banque. Arrivant à la conclusion que ces irrégularités n'existent pas, il se limite ensuite à contester, en invoquant la violation de l'art. 336 al. 1 let. c CO, qu'il aurait dû transmettre au service Compliance le courriel du 13 janvier 2011, car, selon lui, il ne s'agissait pas, au vu de son texte, d'une véritable plainte qui aurait dû être transmise.
Ce faisant, le recourant ne s'en prend pas directement à la perte de confiance retenue par la cour cantonale, mais conteste toute violation des directives internes de la banque en ce qui concerne le courriel du 13 janvier 2011, soutient que les autres irrégularités ne sont pas motivées (art. 53 CPC et 29 al. 2 Cst.) et en déduit que le motif de l'employeuse n'est qu'un prétexte.
3.4. Ces griefs ne sont pas fondés.
3.4.1. L'art. 53 CPC reprend, dans le domaine de la procédure civile, l'art. 29 al. 2 Cst., de sorte que la jurisprudence relative à cette disposition constitutionnelle peut et doit être prise en considération pour l'interprétation de cette disposition de procédure (arrêts 5A_31/2012 du 5 mars 2012 consid. 4.3; 5A_109/2012 du 3 mai 2012 consid. 2.1). Sous son aspect de droit à une décision motivée, l'art. 53 al. 1 CPC impose au juge l'obligation de motiver sa décision, afin que les parties puissent la comprendre et exercer leur droit de recours à bon escient. Le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause, mais aussi à ce que l'autorité de recours puisse contrôler l'application du droit. Le juge n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire apparaissent pertinents (ATF 136 I 229 consid. 5.2.; 133 III 249 consid. 3.3).
En l'occurrence, il résulte clairement des faits constatés que la banque n'a pas été informée par l'employé - ni par information à son supérieur hiérarchique, ni par transmission d'un rapport au Département Compliance, ni non plus par appel au service juridique - qu'un litige était survenu entre deux de ses clients, qu'il avait mis en relation et pour lesquels il agissait comme intermédiaire, litige qui l'impliquait, elle, d'une certaine façon, et cela ni au moment de la réception du courriel du 13 janvier 2011, faisant état d'une affaire grave et importante, ni non plus au début mai lorsque l'autre avocat de N._ a mis la banque en demeure de lui payer 2 millions USD, ni non plus à fin juin lorsque M._ a contesté le transfert de 1'400'000 USD. On ne saurait donc reprocher à la cour cantonale de n'avoir pas motivé son point de vue en concluant que l'employé avait manqué à son devoir de fidélité et de diligence à l'égard de son employeuse et de l'avoir mise dans une situation risquée qui aurait pu lui causer un dommage. Il importe peu à cet égard que la banque n'ait finalement pas subi de dommage - comme le relève d'ailleurs lui-même le recourant -.
S'agissant des notes d'entretiens à introduire dans le système informatique, il ne résulte pas de l'état de fait que, avant celle créée dans le système informatique le 5 juillet 2011, l'employé aurait introduit des notes relatives aux entretiens au sujet de cette affaire. Lorsqu'il soutient que la cour cantonale a violé son devoir de motivation en ne précisant pas quelles notes il aurait omises, le recourant méconnaît qu'il ressort des faits qu'il a eu de nombreux contacts avec M._ et les avocats de N._ et qu'il n'a introduit aucune note dans le système informatique.
Quant au transfert de 1'400'000 USD, effectué en juin 2011 sur la base d'un appel téléphonique du client M._, sans en avoir reçu l'instruction écrite préalable ni avoir soumis l'ordre à son supérieur, ordre qui a été ensuite contesté par le client, le recourant se limite à affirmer qu'il était autorisé, en cas d'urgence, à approuver des paiements supérieurs à 500'000 USD sans instruction écrite. Or, il feint d'ignorer qu'il résulte des faits constatés que ce client lui avait précisément donné pour consigne le 4 avril 2011 de ne pas effectuer de transfert depuis son compte sans avoir reçu une instruction écrite de sa part et il ne tente aucune démonstration de l'urgence du transfert, alors que la question était litigieuse depuis janvier en tout cas. On peut donc renoncer à examiner quelles étaient sur ce point les directives internes de la banque, dont celle-ci fait état dans sa réponse. Dans ces circonstances, il n'est pas non plus nécessaire de compléter l'état de fait s'agissant de la mauvaise foi que la banque a reprochée à M._ au sujet de son ordre oral de transfert du montant de 1'400'000 USD.
3.4.2. Enfin, en ce qui concerne le courriel du 13 janvier 2011, le recourant fait valoir une violation de l'art. 336 al. 1 let. c CO. Il reproduit le texte de ce courriel et soutient qu'il ne constituait pas une plainte ou une critique d'un client puisqu'il ne le mettait pas en cause, et qu'aucun reproche n'était adressé ni à lui ni à la banque. Il fait valoir que la demande d'entretien de l'avocat américain visait uniquement à éviter une procédure judiciaire entre son client et M._ et qu'il n'était pas question de s'en prendre à la banque. Selon lui, toutes les autres irrégularités ne pouvant être retenues faute de motivation, la prétendue violation des directives internes n'était qu'un prétexte, puisqu'il n'est pas crédible de retenir que la confiance était entamée au point de justifier un licenciement, qu'il n'a joué qu'un rôle d'intermédiaire entre deux clients, que les allégations de M._ quant au transfert de fonds litigieux étaient faites de mauvaise foi et qu'il n'y a pas eu de dommage.
Il n'y a pas lieu de trancher la question de savoir si la non-transmission de ce courriel au département Compliance suffirait à elle seule à justifier une perte de confiance. En effet, comme on vient de le voir, l'employé n'a jamais informé la banque avant juillet, voire plus probablement août 2011, de ce litige alors qu'au moins une mise en demeure de la banque de payer 2 millions USD avait été formée par l'avocat américain de N._ en mai déjà. Sur la base des faits retenus, on ne voit pas en quoi l'art. 336 al. 1 let. c CO pourrait être violé.
3.4.3. Si le reproche d'avoir donné à un tiers des informations relatives aux fonds détenus par M._, portant atteinte à l'art. 47 LB, peut être laissé indécis, l'intimée admettant qu'il n'est pas possible d'établir si cette accusation de M._ serait justifiée, il demeure sans incidence sur l'appréciation globale du comportement de l'employé.
3.5. En conclusion, il y a lieu d'admettre, avec la cour cantonale, que le rapport de confiance entre l'employé et son employeuse était rompu. Il est ainsi superflu d'examiner s'il faudrait compléter l'état de fait au sujet d'autres irrégularités de l'employé, que celui-ci n'aurait pas contestées dans la procédure cantonale, comme le demande l'intimée.
4.
La résiliation ordinaire ayant été notifiée le 14 novembre 2011 et prenant effet au 31 mai 2012, il y a lieu d'examiner encore si, comme le recourant le prétend, il aurait droit à son bonus en espèces pour 2011 (2'000'000 fr.), à son bonus en espèces pour cinq mois en 2012 (833'334 fr.) et à son bonus en actions de 492'709 actions pour 2008 à 2012.
4.1. L'employé recourant se plaint à cet égard de déni de justice formel (art. 29 al. 1 Cst.), reprochant à la cour cantonale de n'avoir pas traité de son grief selon lequel ces bonus seraient des éléments de son salaire variable.
Or, la cour cantonale n'a pas méconnu " en droit " la possibilité qu'un bonus soit qualifié de salaire variable; elle a expressément retenu en l'occurrence que tant le contrat de travail que le règlement prévoient que les bonus sont discrétionnaires et qu'ils " ne font pas partie intégrante du salaire et que leur versement, même régulier, n'implique pas une obligation et un droit acquis pour les années à venir ". Le recourant ne se plaint pas de défaut de motivation de l'arrêt attaqué (art. 53 CPC). Sous couvert de violation de l'art. 29 al. 1 Cst., le recourant reproche en réalité à la cour cantonale d'avoir mal compris et mal appliqué la jurisprudence relative aux bonus.
4.2. Le Tribunal fédéral a résumé dans plusieurs arrêts récents l'ensemble de sa jurisprudence relative aux bonus (4A_714/2016 du 29 août 2017 consid. 3; 4A_290/2017 du 12 mars 2018 consid. 4, 4A_463/2017 du 4 mai 2017 consid. 3; 4A_513/2017 consid. 5).
Il en résulte qu'il faut bien distinguer entre les trois cas suivants: (1) le salaire - variable -, (2) la gratification à laquelle l'employé a droit et (3) la gratification à laquelle il n'a pas droit. Ce n'est que lorsque l'employé n'a pas de droit à la gratification - cas n° 3 - que la question de la requalification du bonus en salaire, en vertu du principe de l'accessoriété lorsque les salaires sont modestes ou moyens et supérieurs, se pose, ce principe étant en revanche inapplicable pour les très hauts revenus.
En l'espèce, le recourant se prévaut du cas n° 1 et soutient que, dans son appel, il exposait déjà que le bonus faisait partie de son salaire; selon lui, c'est à tort que la cour cantonale a retenu le cas n° 3, à savoir une gratification discrétionnaire, à laquelle il n'avait aucun droit.
4.3.
4.3.1. On se trouve dans le cas n° 1 lorsqu'un montant (même désigné comme bonus ou gratification) est déterminé ou objectivement déterminable, c'est-à-dire qu'il a été promis par contrat dans son principe et que son montant est déterminé ou doit l'être sur la base de critères objectifs prédéterminés comme le bénéfice, le chiffre d'affaires ou une participation au résultat de l'exploitation, et qu'il ne dépend pas de l'appréciation de l'employeur; il doit alors être considéré comme un élément du salaire (variable), que l'employeur est tenu de verser à l'employé (art. 322 s. CO; ATF 141 III 407 consid. 4.1; 136 III 313 consid. 2 p. 317; 129 III 276 consid. 2 p. 278; 109 II 447 consid. 5c p. 448).
4.3.2. En revanche, on se trouve en présence d'une gratification - dans les cas n°s 2 et 3 - lorsque le bonus est indéterminé ou objectivement indéterminable, c'est-à-dire que son versement dépend du bon vouloir de l'employeur et que sa quotité dépend pour l'essentiel de la marge de manoeuvre de celui-ci en ce sens qu'elle n'est pas fixée à l'avance et qu'elle dépend de l'appréciation subjective de la prestation du travailleur par l'employeur; le bonus doit alors être qualifié de gratification (ATF 141 III 407 consid. 4.1 et 4.2 p. 407 s.; 139 III 155 consid. 3.1 p. 157; arrêt 4A_485/2016 du 28 avril 2017 consid. 4.1.2).
4.3.2.1. Il y a un droit à la gratification - cas n° 2 - lorsque, par contrat, les parties sont tombées d'accord sur le principe du versement d'un bonus et n'en ont réservé que le montant; il s'agit d'une gratification que l'employeur est tenu de verser ( Anspruch auf die Gratifikation), mais il jouit d'une certaine liberté dans la fixation du montant à allouer (ATF 136 III 313 consid. 2 p. 317; 131 III 615 consid. 5.2 p. 620; arrêt 4A_172/2012 du 22 août 2012 consid. 8.2).
De même, lorsqu'au cours des rapports contractuels, un bonus a été versé régulièrement sans réserve de son caractère facultatif pendant au moins trois années consécutives, il est admis qu'en vertu du principe de la confiance, il est convenu par actes concluants (tacitement), que son montant soit toujours identique ou variable: il s'agit donc d'une gratification à laquelle l'employé a droit ( Anspruch auf die Gratifikation; ATF 129 III 276 consid. 2.1; 131 III 615 consid. 5.2; arrêt 4A_172/2012 précité consid. 8.2), l'employeur jouissant d'une certaine liberté dans la fixation de son montant au cas où les montants étaient variables.
Il convient d'ajouter que, dans les deux situations, le travailleur n'a droit, aux termes de l'art. 322d al. 2 CO, à une part proportionnelle de la gratification en cas d'extinction des rapports de travail (avant l'occasion qui y donne lieu) que s'il en a été convenu ainsi, ce qu'il lui incombe de prouver en vertu de l'art. 8 CC.
4.3.2.2. Il n'y a pas de droit à la gratification lorsque, par contrat, les parties ont réservé tant le principe que le montant du bonus; il s'agit alors d'une gratification facultative; le bonus n'est pas convenu et l'employé n'y a pas droit, sous réserve de l'exception découlant de la nature de la gratification (principe de l'accessoriété; cf. infra consid. 4.2).
De même, lorsque le bonus a été versé d'année en année avec la réserve de son caractère facultatif, il n'y a en principe pas d'accord tacite: il s'agit d'une gratification qui n'est pas due.
Toutefois, il a été admis par exception que, en dépit de la réserve (sur le principe et sur le montant), un engagement tacite peut se déduire du paiement répété de la gratification pendant des décennies ( jahrzehntelang), lorsque l'employeur n'a jamais fait usage de la réserve émise, alors même qu'il aurait eu des motifs de l'invoquer, tels qu'une mauvaise marche des affaires ou de mauvaises prestations de certains collaborateurs lorsqu'il l'a versée: il s'agit alors d'une gratification à laquelle l'employé a droit (ATF 129 III 276 consid. 2.3 p. 280 s.).
Il en va de même lorsque la réserve du caractère facultatif n'est qu'une formule vide de sens (c'est-à-dire une clause de style sans portée) et qu'en vertu du principe de la confiance, il y a lieu d'admettre que l'employeur montre par son comportement qu'il se sent obligé de verser un bonus (arrêts 4A_463/2017 déjà cité consid. 3.1.3.2; 4A_172/2012 déjà cité consid. 8.2).
4.4. La cour cantonale a constaté dans sa partie " En fait " que, par contrat de travail, la banque est libre de verser, pendant la durée des rapports de travail, un bonus discrétionnaire, lequel tient compte des performances personnelles, sans que cela constitue une quelconque obligation légale, que le montant du bonus est déterminé à sa seule et unique discrétion, que, lors de chaque versement, l'attention de l'employé a été attirée sur le caractère discrétionnaire de ces bonus, la banque ayant formulé une réserve et ayant renvoyé aux règles du " share plan ", qui prévoient le caractère facultatif des bonus, et que les clauses relatives au bonus et au plan d'intéressement prévoient que les employés qui quittent la banque avant le versement sont déchus de leurs droits. Elle a expressément retenu dans sa partie " En droit " que tant le contrat de travail que le règlement prévoient que les bonus sont discrétionnaires et qu'ils " ne font pas partie intégrante du salaire et que leur versement, même régulier, n'implique pas une obligation et un droit acquis pour les années à venir ", que le bonus est discrétionnaire, que l'employeuse n'a pas à justifier sa décision, que l'employeuse a expressément réservé le caractère discrétionnaire du bonus lors de chaque versement, ce que l'employé a aussi accepté, et que celui-ci connaissait aussi la règle selon laquelle le bonus annuel n'était versé que si les rapports de travail n'étaient pas résiliés.
4.4.1. A l'appui de sa thèse, le recourant invoque uniquement que dans son appel, il exposait que le bonus faisait partie de son salaire en vertu de l'accord tacite intervenu avec son employeur: " Pour les motifs exposés ci-dessus, en raison de l'accord tacite intervenu entre les parties, le bonus de l'appelant, fixé à environ 2'000'000 fr., pour autant que les objectifs fixés soient atteints, faisait partie de son salaire, nonobstant les formules d'usage utilisées par l'intimée ".
Or, le recourant ne remet nullement en question les constatations de la cour cantonale sur le caractère discrétionnaire du bonus prévu par le contrat de travail et le règlement, sur la réserve faite lors de chaque versement de bonus et sur le fait qu'il connaissait la règle que le bonus n'était accordé que si les rapports de travail n'étaient pas résiliés. Or, toutes ces circonstances sont typiques d'une gratification au sens de l'art. 322d CO.
Le recourant ne démontre nullement qu'au vu des constatations de fait, le montant du bonus aurait été déterminé (expressément ou tacitement) par contrat, puisqu'il parle lui-même d'un montant d'environ 2'000'000 fr. Il ne démontre pas non plus que le montant du bonus était objectivement déterminable parce qu'il aurait été fixé sur la base de critères objectifs prédéterminés comme le bénéfice, le chiffre d'affaires ou une participation au résultat de l'exploitation. Au contraire, il ne résulte pas des constatations de fait que son contrat définirait de tels critères. Au vu de sa position d'employé soumis à la surveillance d'un supérieur hiérarchique, on voit mal comment il pourrait prétendre à une part déterminée d'avance du bénéfice de la banque. Il s'ensuit que c'est en conformité avec la jurisprudence que la cour cantonale a considéré que son bonus n'était pas déterminé ou objectivement déterminable et l'a qualifié de gratification.
Lorsque, par contrat, le bonus-gratification est réservé dans son principe et son montant, que, lors de chaque versement, l'employeuse formule une réserve, l'employé n'a pas de droit à cette gratification. Par sa simple affirmation " nonobstant les formules d'usage utilisées par l'intimée ", le recourant ne démontre pas que seraient réalisées les conditions d'une exception fondant un droit à la gratification (cf. consid. 4.3.2.2 in fine).
Son affirmation selon laquelle les parties auraient convenu tacitement d'un bonus d'environ 2'000'000 fr. pour autant que les objectifs fixés soient atteints, ne repose sur aucune constatation de fait. Et une telle volonté ne résulte pas du simple fait que, durant plusieurs années, l'employé a perçu des bonus élevés.
5.
En ce qui concerne l'octroi de bonus sous forme d'actions bloquées, le recourant invoque la violation de l'art. 29 al. 1 Cst. Il soutient aussi que c'est arbitrairement que la cour cantonale a retenu que le statut de " good leaver " était réservé aux employés victimes d'un licenciement collectif. Il réclame à ce titre 492'709 actions pour les années 2008 à 2010.
5.1. Le plan d'intéressement comprend les mesures qu'une entreprise prend afin que ses cadres ou collaborateurs puissent se procurer, à intervalles réguliers et sous des modalités spécifiques, des actions de cette entreprise ou des options sur ses actions. Les modalités comportent généralement un délai pendant lequel chaque lot de titres en voie d'acquisition est seulement promis au bénéficiaire du plan, sans que celui-ci puisse en disposer d'aucune manière (période de blocage). Elles comportent aussi une condition suspensive en ce sens qu'à l'expiration du délai de blocage, le bénéficiaire doit encore être au service de l'entreprise ou du groupe auquel celle-ci appartient pour y avoir droit. Si cette condition s'accomplit, le bénéficiaire reçoit alors les titres concernés, ou leur contre-valeur; dans le cas contraire, il est déchu de toute prétention. Aussi longtemps qu'il conserve des positions dans le plan d'intéressement, le bénéficiaire a donc intérêt à poursuivre les rapports de travail et à accomplir ses tâches de façon à accroître la valeur de l'entreprise et de ses actions; il est ainsi attaché à l'entreprise et associé aux objectifs de la direction et des actionnaires (ATF 131 III 615 consid. 3; 130 III 495 consid. 4.1 p. 499 et les références à la doctrine).
5.2. La cour cantonale a retenu " en fait " que l'employé a bénéficié du plan d'intéressement de la banque, que l'employeuse a prévu une période de blocage et qu'en vertu des... of Z._ Share plan 2011, toute action non débloquée est en principe perdue à la date à laquelle l'employé cesse son activité auprès de l'employeuse. Cette pénalité ne s'applique toutefois pas aux employés quittant la société avec le statut de " good leaver ", soit les employés victimes d'un licenciement collectif, ceux pour qui le contrat a pris fin pour cause d'invalidité ou encore ceux à qui les responsables de la banque décident d'accorder ce statut.
Le recourant ne formule pas de critiques au sujet de cette constatation de fait. Si l'intimée soutient que c'est le " share plan " 2005 qui s'applique, et non celui de 2011, elle relève toutefois qu'il n'en résulte pas de différence pour le demandeur.
Au vu de ces constatations et du motif qui a justifié le congé donné à l'employé, c'est à tort que la cour cantonale a examiné si l'employé avait fait l'objet d'un licenciement collectif puisque tel n'est manifestement pas le cas. En revanche, comme le cas de l'employé ne peut entrer que dans la dernière catégorie - retenue dans la partie " En fait " - à laquelle les responsables de la banque décident d'accorder ce statut, en vertu d'un pouvoir entièrement discrétionnaire, il ne saurait prétendre à ce statut de " good leaver " dès lors qu'il a été congédié pour perte de confiance.
Il s'ensuit que l'arrêt attaqué peut être confirmé sur ce point par substitution des motifs qui précèdent.
5.3. Lorsque le recourant reproche à la cour cantonale de n'avoir pas traité son grief relatif au caractère obligatoire de la gratification, il reprend en réalité son grief d'un accord tacite sur une rémunération d'environ 2'000'000 fr. Or, comme on l'a vu, les bonus - en espèces ou en actions - n'ont pas été promis à l'employé à titre de salaire variable et, vu leur caractère discrétionnaire résultant tant du contrat de travail que du règlement du personnel et du " share plan ", et vu les réserves faites lors de chaque versement de bonus, il n'y a pas eu d'accord sur l'existence (sur le principe) d'un droit à une gratification. Même si l'on pouvait déduire quelque chose du témoignage de Mme A._, dans le sens voulu par le recourant, celui-ci ne démontre nullement en quoi les déclarations de celle-ci devraient prévaloir sur les trois autres éléments écrits que sont le contrat de travail, le règlement du personnel et les "... " du " share plan ". Contrairement à ce qu'il soutient dans son appel, le fait d'avoir perçu durant 4 ans un bonus en espèces et en actions de respectivement 2'000'000, 2'100'000, 1'750'000 et 2'000'000 fr. n'en fait pas un cas de salaire variable déterminé à l'avance, ni un cas de gratification à laquelle il aurait droit.
Il s'ensuit que son recours doit également être rejeté sur ce point.
6.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Les frais judiciaires et les dépens doivent être mis à la charge du recourant qui succombe (art. 66 al. 1 et 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 25'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 30'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre des prud'hommes.
Lausanne, le 10 octobre 2018
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget