Faits :
A.
A.a. La société B._ SA (ci-après: l'employeuse), avec siège social à xxx et ayant notamment pour but l'exploitation d'une école primaire et secondaire internationale, a engagé, par contrat de travail du 2 mai 2005, A._ en qualité de professeur de sport (ci-après: l'employé).
Le salaire mensuel brut de l'employé, initialement de 5'700 fr., a été augmenté chaque année, pour atteindre, en août 2010, le montant de 6'750 fr. En tant que professeur de sport, il recevait également chaque mois une prime de 500 fr., destinée à compenser son engagement dans les activités extrascolaires.
Le contrat de travail signé par l'employé le 2 mai 2005 prévoit que " la durée de la présence à l'école pour un professeur à plein temps est de 34 heures par semaine, dont 29 périodes de cours réparties sur 5 jours. Le professeur qui travaille à plein temps est également tenu à une heure de service par semaine dans le contexte de la vie extrascolaire de l'école ".
Selon " le descriptif de la (sic) poste de professeur de sport 2005-2006 " daté du 2 mai 2005, le poste à plein temps nécessitait une présence hebdomadaire de 41 périodes de 40 minutes à l'école et le professeur de sport terminait tous les jours à 17h00 à l'exception du mercredi. En outre, sa présence à l'école comme professeur à plein temps devait être fixée avec la direction quand l'horaire de sport pour l'année en cours serait définitif.
Il a toutefois été retenu par la cour cantonale que la durée hebdomadaire du travail de l'employé n'a pas été réglée de façon précise par le contrat puisque celui-ci, en faisant état de 29 périodes de cours, n'était pas adapté à l'activité d'un maître de sport donnant moins d'heures de cours qu'un professeur ordinaire et qu'il ne prévoyait pas d'horaire de travail. Les professeurs de sport devaient par contre participer à davantage d'activités extrascolaires (ou clubs) par semaine. Il a également été établi que la durée du travail pour les professeurs de sport n'a pas non plus été réglementée par le descriptif susmentionné, dont on ignore par ailleurs s'il a effectivement été communiqué à l'employé, qui se bornait en tout cas à prévoir que la " présence à l'école " serait fixée en fonction de " l'horaire de sport pour l'année en cours ".
La cour cantonale retient, en résumé, que " le temps de travail des professeurs de sport a été déterminé par l'employeur en fonction de ses besoins sans faire l'objet d'une réglementation contractuelle écrite ".
A.b. Les rapports de travail entre l'employé et l'employeuse ont pris fin le 31 août 2010.
L'employé a alors réclamé, par lettre du 8 février 2011, le paiement d'heures supplémentaires, à hauteur de 100'598 fr.25 brut. Par courrier du 28 février 2011, l'employeuse a refusé d'entrer en matière.
Par réquisition du 25 février 2011, l'employé a introduit une poursuite à l'encontre de son employeuse pour un montant de 100'000 fr., avec intérêts à 5% l'an dès le 1er mars 2008. Cette dernière a formé opposition totale au commandement de payer qui lui a été notifié le 8 mars 2011.
B.
Par demande du 12 août 2011, l'employé (demandeur) a conclu à ce que son employeuse (défenderesse) soit condamnée à lui payer immédiatement la somme de 100'000 fr. brut, sous déduction des charges sociales usuelles, avec intérêts à 5% l'an dès le 1er mars 2008, et à ce que l'opposition formée par celle-ci au commandement de payer soit définitivement levée à concurrence du montant correspondant.
Par réponse du 2 novembre 2011, la défenderesse a conclu au rejet de la demande.
Par jugement du 6 août 2013, le Tribunal civil de l'arrondissement de l'Est vaudois a admis partiellement la demande, dit que la défenderesse est la débitrice du demandeur de la somme de 58'867 fr.50, dont à déduire les charges sociales incombant à l'employé, avec intérêts à 5% l'an dès le 9 mars 2011, et levé définitivement l'opposition formée par l'employeuse.
La Cour d'appel civile du Tribunal cantonal vaudois, par arrêt du 3 décembre 2013, a admis l'appel interjeté par la défenderesse et rejeté l'appel joint formé par le demandeur. Par la voie de la réforme, elle a rejeté la demande de l'employé et maintenu l'opposition formée par l'employeuse.
C.
L'employé exerce un recours en matière civile au Tribunal fédéral contre l'arrêt de la Cour d'appel civile du 3 décembre 2013. Il conclut, sous suite de frais et dépens, à la réforme de l'arrêt entrepris, à l'admission de sa demande, à ce que son ex-employeuse soit condamnée à lui payer immédiatement la somme de 90'822 fr.35 (dont à déduire la part des charges sociales incombant à l'employé), avec intérêts à 5% l'an dès le 9 mars 2011, à ce que l'opposition formée contre le commandement de payer correspondant soit levée, les frais et les dépens étant mis à la charge de l'intimée.
Le recourant invoque une appréciation arbitraire des preuves (art. 9 Cst.), la violation de la théorie de la confiance et une application erronée de l'art. 321c CO.
L'intimée conclut au rejet du recours.
Considérant en droit :
1.
1.1. Interjeté par la partie qui a succombé dans ses conclusions en paiement (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours (art. 75 LTF) dans une affaire pécuniaire en matière de droit du travail dont la valeur litigieuse atteint le seuil de 15'000 fr. (art. 74 al. 1 let. a LTF), le recours en matière civile est en principe recevable puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc également être formé pour violation d'un droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 136 II 304 consid. 2.4 p. 314; 135 III 127 consid. 1.5 p. 130) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
Il incombe à la partie recourante, qui entend s'écarter des constatations de l'autorité précédente, d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 133 IV 286 consid. 1.4 p. 287 s. et consid. 6.2 p. 288). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF).
2.
2.1. En se basant sur une plage horaire de 8h00 à 17h00, respectivement de 8h00 à 15h45 le mercredi (et après déduction d'une demi-heure par jour pour le repas de midi), les premiers juges ont considéré que le temps total de travail imposé par l'employeuse à son employé s'élevait à 41 heures par semaine, soit une différence de six heures d'avec le temps fixé dans le contrat du 2 mai 2005. Ils ont retenu que le demandeur avait effectué 228 heures supplémentaires par année, soit (déduction faite de trois semaines de vacances) 1002 heures supplémentaires pour les cinq années qui précèdent l'envoi de la réquisition de poursuite du 25 février 2011. Les premiers magistrats ont estimé que les heures supplémentaires évoquées par le demandeur pour des journées extrascolaires étaient couvertes par les primes mensuelles qu'il avait reçues, de sorte qu'elles n'avaient pas à être prises en compte.
La Cour d'appel civile du Tribunal cantonal vaudois a annulé ce jugement et rejeté la demande de l'employé, considérant qu'il n'était pas possible de distinguer entre le temps de travail ordinaire et les heures supplémentaires. Relevant encore que le recourant avait droit à quatorze semaines de vacances par année, qu'il a obtenu des augmentations de salaire régulières, et qu'il s'est accommodé de la situation en matière d'horaires de travail entre 2005 et 2010, elle retient que l'employé n'a pas apporté la preuve, qui lui incombait, qu'il aurait effectué des heures de travail supplémentaires. Il n'existait en outre pas de circonstances exceptionnelles qui permettraient de recourir, en l'espèce, à l'art. 42 al. 2 CO, pour déterminer si de telles heures ont été effectivement fournies. Par surabondance, la cour cantonale ajoute que, même si l'on devait admettre l'existence d'heures supplémentaires, le demandeur n'a pas établi les avoir annoncées à la défenderesse, ni prouvé que cette dernière savait que le temps convenu contractuellement ne suffisait pas à son employé pour exécuter convenablement les tâches confiées.
2.2. Le recourant soutient que la cour cantonale a apprécié les preuves de manière arbitraire (art. 9 Cst.) en retenant que la durée hebdomadaire du travail n'a pas été fixée contractuellement (réelle et commune intention des parties), ainsi qu'en affirmant qu'il n'avait pas annoncé les heures supplémentaires à son employeuse, ni établi que celle-ci savait que le temps convenu contractuellement ne suffisait pas à son employé pour exécuter convenablement les tâches confiées.
2.3. D'emblée, on observe que les critiques soulevées par le recourant ne sont pas propres à modifier le sort de la cause (cf. art. 97 al. 1 LTF).
En effet, on ne discerne pas comment son argumentation pourrait conduire, en application de l'art. 321c CO, à rémunérer le travailleur pour des heures supplémentaires.
Même à admettre que la durée hebdomadaire du travail serait fixée, également pour les professeurs de sport, à 34 heures (sans tenir compte de l'heure d'activité extrascolaire par semaine), l'existence d'heures supplémentaires - à défaut de laquelle toute discussion au sujet de l'art. 321c CO est dépourvue de sens - ne résulte pas des constatations cantonales. Lorsque le recourant affirme avoir " effectivement exécuté des heures supplémentaires " (acte de recours p. 9), il se borne en réalité à présenter sa version des faits, ce qui n'est pas admissible (cf. supra consid. 1.3).
Il a été établi, en fait (art. 105 al. 1 LTF), que le recourant a donné des cours " dans une mesure indéterminée ", ou " sur demande de [l'] employeur " (arrêt entrepris p. 11), dans une plage horaire générale de 8h00 à 17h00, respectivement de 8h00 à 15h45 le mercredi. Le nombre d'heures effectivement réalisées dans le cadre de cette plage n'est donc pas établi.
Selon l'état de fait contenu dans l'arrêt attaqué, les professeurs de sport dispensaient moins d'heures de cours que les professeurs ordinaires (qui enseignaient 34 heures par semaine et étaient tenus à une heure de service extrascolaire par semaine, selon leur contrat) (arrêt entrepris p. 4). Quant aux autres tâches effectuées par les professeurs de sport (et en particulier le recourant), il s'agissait, selon l'arrêt entrepris, d'un engagement dans les services extrascolaires qui était rémunéré séparément, par le versement d'une prime mensuelle de 500 fr. (arrêt entrepris p. 6 et 11 s.).
Même à admettre que certaines heures de travail effectuées en dehors des cours n'étaient pas couvertes par le versement de cette prime mensuelle, l'existence d'heures supplémentaires n'en serait pas pour autant démontrée. En effet, il n'est pas établi que le nombre de ces heures " hors cours " serait tel qu'il obligerait les professeurs de sport - qui se voient imposer un nombre d'heures de cours restreint par rapport aux professeurs ordinaires - à déployer une activité qui irait au-delà des 34 heures imposées chaque semaine à leurs collègues dispensant d'autres matières.
Cela étant, on ne saurait donc reprocher à la cour cantonale d'avoir rendu une décision arbitraire dans son résultat en retenant que l'employé n'a pas apporté la preuve de l'existence d'heures supplémentaires, étant précisé que ni le contrat, ni le descriptif du poste de professeur de sport, ne permet d'établir les heures effectivement réalisées par l'employé.
2.4. Ainsi, le fait même que l'employé ait effectué des heures supplémentaires n'est pas établi. On ne saurait ici à l'évidence procéder à l'application, par analogie, de l'art. 42 al. 2 CO. Cette dernière disposition, si elle instaure une preuve facilitée en faveur du lésé (ATF 122 III 219 consid. 3a), ne le dispense pas de fournir au juge, dans la mesure où on peut l'attendre de lui, tous les éléments de fait constituant des indices de l'existence des heures supplémentaires exécutées et permettant ou facilitant leur estimation (cf. ATF 131 III 360 consid. 5.1 et les arrêts cités; arrêt 4A_543/2011 du 17 octobre 2011 consid. 3.1.1 ). Il incombait en particulier à l'employé de fournir (par exemple) son " horaire de sport pour l'année en cours " (cf. sur l'existence d'un tel document: arrêt entrepris p. 12), et d'établir, au moins de façon à ce qu'une estimation sous l'angle de l'art. 42 al. 2 CO puisse être entreprise par le juge, le volume de travail, non couvert par la prime mensuelle de 500 fr., accompli en dehors des heures de cours.
Le moyen tiré de l'arbitraire dans l'appréciation des preuves est infondé.
Le grief, invoqué à titre subsidiaire, ayant trait à la violation de la théorie de la confiance (en relation avec l'interprétation du contrat de travail signé par les parties) et celui de la transgression de l'art. 321c CO se révèlent sans consistance.
3.
Il résulte des considérations qui précèdent que le recours en matière civile doit être rejeté.
Les frais et dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 5'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 11 septembre 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Klett
Le Greffier : Piaget