Faits :
A.
A.a. X._ a été engagé, par contrat du 20 août 2003, par la banque Z._ SA (ci-après: Z._), à Genève, en qualité de Foreign Exchange Sales Dealer à compter du 1er septembre 2003.
A la fin de l'année 2010, X._ a sollicité de son employeur un congé sans solde pour la période du 19 novembre 2010 au 31 janvier 2011, avec reprise du travail le 1er février 2011, congé qui lui a été accordé par courrier du 23 novembre 2010.
Durant ce congé, qu'il a passé à Bali, X._ a tenu un blog sur lequel il parlait de ses expériences, notamment spirituelles.
A.b. Le 26 décembre 2010, par un courrier envoyé depuis Ubud (Indonésie), X._ a résilié le contrat de travail qui le liait à Z._. A cette occasion, il a émis le souhait de pouvoir récupérer ses actions bloquées de Z._ afin de pouvoir réaliser et concrétiser sa nouvelle orientation.
Par courrier du 30 décembre 2010, Z._ a pris acte de cette résiliation du contrat de travail pour le 28 février 2011. Puis, par courrier du 18 janvier 2011, remis en mains propres du travailleur par A._, employée du département des ressources humaines, a libéré le travailleur de son obligation de travailler jusqu'à la fin du contrat.
A.c. Le 17 janvier 2012, X._ a fait une demande de prestations AI: il a bénéficié dans un premier temps de mesures provisionnelles dès le mois de juillet 2012, puis l'Office cantonal AI lui a reconnu le droit à une rente entière sur la base d'une invalidité à 100% dès le 1er février 2013.
La caisse de chômage B._ lui a refusé, par décision du 19 avril 2012, le droit à des indemnités de chômage qu'il demandait à compter du 24 février 2012 (art. 105 al. 2 LTF).
A.d. Le 23 janvier 2012, par l'intermédiaire de son avocat, X._ a indiqué à Z._ que, lors de la rédaction de sa lettre de démission du 26 décembre 2010, il était privé de sa capacité de discernement et que, partant, cette résiliation était nulle. Il demandait à son employeur de soumettre son cas à son assureur perte de gain maladie. Z._ a refusé.
Précédemment, le 18 novembre 2011, également par l'intermédiaire d'un avocat, X._ avait réclamé sa participation au plan d'intéressement des employés de la banque, en faisant référence à sa démission.
B.
Par requête de conciliation du 22 octobre 2012, X._ a ouvert action contre Z._. A la suite de l'échec de la conciliation, il a déposé sa demande devant le Tribunal des prud'hommes du canton de Genève le 4 décembre 2012, concluant à ce qu'il soit constaté que sa lettre de démission du 26 décembre 2010 est nulle, que son contrat de travail n'a pas été valablement résilié et que les parties sont toujours liées par un contrat de travail.
Il a allégué qu'il était dans un état d'incapacité de discernement au moment de la rédaction de sa lettre de démission, que trois semaines auparavant, il avait ouvert un blog délirant pour parler de ses expériences et en avait informé le directeur général de la banque, que son état n'avait fait qu'empirer par la suite. Il a produit plusieurs attestations médicales, des 16 janvier, 16 février, 21 août et 21 septembre 2012, qui toutes indiquent que son état de santé au moment de la rédaction de cette lettre était mauvais, en raison d'un trouble psychiatrique.
La valeur litigieuse de cette action a été fixée à 276'144 fr., sur la base de différentes créances en paiement de salaires et d'indemnités liées à son incapacité de travail pour cause de maladie.
X._ a produit les documents démontrant les démarches qu'il avait effectuées, et leurs résultats, auprès de l'assurance invalidité et de l'assurance-chômage sus-évoquées.
Le tribunal a tenu une première audience le 4 février 2014, puis une seconde audience le 25 mars 2014, au cours de laquelle il a entendu deux témoins, soit le médecin psychiatre et ami de la famille du demandeur et le médecin psychiatre qui l'avait suivi de 2002 ou 2004 à 2012, et enfin une troisième audience le 13 mai 2014, au cours de laquelle elle a entendu un psychologue, un médecin psychiatre et l'employée de la défenderesse qui lui avait remis la lettre du 18 janvier 2011.
Le tribunal a ensuite ordonné une expertise de l'état mental du demandeur. Dans son rapport d'expertise du 6 mai 2005, l'expert a estimé que celui-ci était totalement incapable de discernement lors de la rédaction de sa lettre de démission, que dans une phase maniaque, l'intéressé pouvait prendre des décisions allant à l'encontre de ses intérêts et que son état était la cause de la rédaction de sa lettre de démission. Lors de l'audience du 1er septembre 2015, l'expert a déclaré s'être fondé sur un faisceau d'indices comme la teneur de la lettre de démission, et non sur un élément en particulier.
Par jugement du 20 janvier 2016, le Tribunal des prud'hommes du canton de Genève a constaté que le courrier envoyé par l'employé à son employeuse depuis l'Indonésie le 26 décembre 2010 était nul et sans portée juridique et a constaté que le contrat de travail n'avait pas été valablement résilié au 28 février 2011.
Statuant par arrêt du 1er novembre 2016, la Chambre des prud'hommes de la Cour de justice du canton de Genève a admis l'appel de l'employeuse et réformé le jugement attaqué en déclarant irrecevable la demande déposée par l'employé.
C.
Contre cet arrêt, l'employé exerce un recours en matière civile au Tribunal fédéral, concluant principalement à son annulation, à la recevabilité de son action et au renvoi de la cause à l'autorité précédente et, subsidiairement, à sa réforme dans le sens des deux chefs de constatation admis par l'autorité de première instance.
Il n'a pas été ordonné d'échanges d'écritures.
Considérant en droit :
1.
Interjeté en temps utile par le demandeur qui a succombé dans ses conclusions en constatation de droit (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) prise sur appel par le tribunal supérieur du canton (art. 75 LTF) dans une contestation du contrat de travail dont la valeur litigieuse est supérieure à 15'000 fr. (art. 72 al. 1 et 74 al. 1 let. a LTF), le recours en matière civile est recevable au regard de ces dispositions.
2.
Saisi d'un recours en matière civile, le Tribunal fédéral applique en principe d'office le droit (art. 106 al. 1 LTF). Il n'est pas lié par l'argumentation juridique développée par les parties ou par l'autorité précédente; il peut admettre le recours, comme il peut le rejeter en procédant à une substitution de motifs (ATF 135 III 397 consid. 1.4).
3.
La question qui se pose en l'espèce est de savoir si, au moment du dépôt de son action en constatation de droit, le demandeur avait un intérêt digne de protection à cette action, ce qu'il lui appartenait d'établir.
3.1. Selon l'art. 88 CPC, le demandeur intente une action en constatation de droit pour faire constater par un tribunal l'existence ou l'inexistence d'un droit ou d'un rapport de droit et, en vertu de l'art. 59 al. 2 let. a CPC, une telle action n'est recevable que si le demandeur y a un intérêt digne de protection.
L'action en constatation de droit de l'art. 88 CPC est ouverte si le demandeur a un intérêt - de fait ou de droit - digne de protection à la constatation immédiate de la situation de droit. Il découle de la jurisprudence antérieure, toujours applicable sur ces points, qu'il faut (1) qu'il y ait une incertitude concernant les droits du demandeur, (2) que la suppression de cette incertitude soit justifiée, en ce sens que l'on ne peut exiger du demandeur qu'il tolère plus longtemps la persistance de cette incertitude parce qu'elle l'entrave dans sa liberté de décision, (3) que cette incertitude puisse être levée par la constatation judiciaire et (4) qu'une action condamnatoire (ou en exécution; Leistungsklage) ou une action formatrice (ou en modification de droit; Gestaltungsklage), qui lui permettrait d'obtenir directement le respect de son droit ou l'exécution de son obligation, ne soit pas ouverte (ATF 135 III 378 consid. 2.2 p. 38 et les arrêts cités).
Conformément à cette quatrième condition, l'action en constatation de droit est subsidiaire par rapport à l'action condamnatoire ou à l'action formatrice; sont réservées les dispositions spéciales prévoyant une action en constatation de droit particulière (Message du 28 juin 2006 relatif au Code de procédure civile suisse [CPC], FF 2006 6841 ch. 5.6 ad art. 86 p. 6901, avec références à la jurisprudence antérieure au CPC). Seules des circonstances exceptionnelles pourraient conduire à admettre l'existence d'un intérêt digne de protection à la constatation de droit bien qu'une action en exécution soit ouverte. Un litige doit en principe être soumis au juge dans son ensemble par la voie de droit prévue à cet effet; le créancier qui dispose d'une action condamnatoire ne peut en tout cas pas choisir d'isoler des questions juridiques pour les soumettre séparément au juge par la voie d'une action en constatation de droit (ATF 135 précité loc. cit.).
3.2. Il s'impose tout d'abord de relever que la constatation de la " nullité " de la lettre de démission, en raison de l'incapacité de discernement de l'employé lors de la rédaction de cette lettre, ne peut pas faire l'objet en tant que telle d'une action en constatation de droit. Seule la conséquence de cette nullité alléguée sur le droit ou le rapport de droit peut l'être, si les conditions en sont remplies.
Le premier chef des conclusions subsidiaires est donc irrecevable.
3.3. En ce qui concerne le second chef des conclusions subsidiaires du recourant, lequel tend à la constatation de l'existence de la relation de travail, la résiliation n'étant pas valable, force est tout d'abord de constater que l'arrêt cantonal ne contient aucune indication au sujet des allégués qu'aurait présentés le demandeur pour démontrer son intérêt digne de protection à son action en constatation de droit. L'état de fait doit donc être préalablement complété sur ce point (art. 105 al. 2 LTF).
Dans le préambule de sa demande, le demandeur a invoqué que ses prétentions financières " dépendent de la couverture par l'employeur de la perte de gain pour maladie " et qu'il ne fait " pas valoir, en l'état, de conclusions chiffrées, convaincu que la défenderesse honorera ses obligations lorsque le Tribunal aura constaté l'absence de portée juridique de la résiliation du contrat de travail ". Il a conclu son mémoire en précisant qu'" il se réserve bien évidemment ses droits, tant à l'encontre de son employeur, que de l'assureur perte de gain maladie de ce dernier pour les prestations qui lui sont dues, tant selon le contrat de travail que selon l'assurance perte de gain maladie collective souscrite en faveur du personnel ".
De telles circonstances ne justifient pas un intérêt digne de protection à une action en constatation de droit. Le demandeur ne démontre pas par là qu'une action condamnatoire n'est pas possible. Le fait qu'il soit convaincu que la défenderesse honorera ses obligations une fois que l'existence du contrat de travail sera établie judiciairement ne le dispenserait pas non plus de chiffrer les conclusions d'une action condamnatoire (cf. art. 85 CPC), ni ne lui permet a fortiori de se limiter à introduire une action en constatation de droit pour ne pas avoir à chiffrer une action condamnatoire. L'action en constatation de droit est subsidiaire à l'action condamnatoire. Il n'est dérogé à la règle de la subsidiarité que dans des circonstances exceptionnelles, qui n'existent pas en l'espèce.
Le seul fait que la banque conteste son incapacité de discernement au moment de la rédaction de sa lettre de démission et que l'incertitude entourant sa capacité ne pouvait être levée que par une expertise ne justifie pas l'introduction d'une action en constatation de droit.
Le second chef de conclusions subsidiaires doit être également déclaré irrecevable.
3.4. L'action en constatation de droit étant irrecevable, les conclusions principales du recourant en annulation, en recevabilité de son action et en renvoi sont irrecevables.
Il n'y a donc pas lieu d'examiner, comme l'a fait la cour cantonale, si l'intérêt à l'action aurait disparu en cours de procès.
Les griefs de fait du recourant, à supposer qu'ils remplissent les conditions de l'art. 106 al. 2 LTF, n'ont pas non plus à être examinés dès lors qu'ils concernent la problématique de fond, celle de son incapacité de discernement.
4.
Il s'ensuit que le recours doit être rejeté, l'action en constatation de droit intentée par le demandeur étant irrecevable, au vu des motifs substitués qui précèdent.
Les frais judiciaires, dont le montant tient compte de la situation financière du recourant (AI depuis le 1er février 2013), sont mis à la charge de celui-ci (art. 66 al. 1 LTF). L'intimée n'ayant pas été invitée à se déterminer, il ne sera pas alloué de dépens.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre des prud'hommes.
Lausanne, le 5 avril 2017
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget