Faits : A. A.a. La société B._ SA (ci-après: l'employeuse), avec siège social à xxx et ayant notamment pour but l'exploitation d'une école primaire et secondaire internationale, a engagé, par contrat de travail du 2 mai 2005, A._ en qualité de professeur de sport (ci-après: l'employé). Le salaire mensuel brut de l'employé, initialement de 5'700 fr., a été augmenté chaque année, pour atteindre, en août 2010, le montant de 6'750 fr. En tant que professeur de sport, il recevait également chaque mois une prime de 500 fr., destinée à compenser son engagement dans les activités extrascolaires. Le contrat de travail signé par l'employé le 2 mai 2005 prévoit que " la durée de la présence à l'école pour un professeur à plein temps est de 34 heures par semaine, dont 29 périodes de cours réparties sur 5 jours. Le professeur qui travaille à plein temps est également tenu à une heure de service par semaine dans le contexte de la vie extrascolaire de l'école ". Selon " le descriptif de la (sic) poste de professeur de sport 2005-2006 " daté du 2 mai 2005, le poste à plein temps nécessitait une présence hebdomadaire de 41 périodes de 40 minutes à l'école et le professeur de sport terminait tous les jours à 17h00 à l'exception du mercredi. En outre, sa présence à l'école comme professeur à plein temps devait être fixée avec la direction quand l'horaire de sport pour l'année en cours serait définitif. Il a toutefois été retenu par la cour cantonale que la durée hebdomadaire du travail de l'employé n'a pas été réglée de façon précise par le contrat puisque celui-ci, en faisant état de 29 périodes de cours, n'était pas adapté à l'activité d'un maître de sport donnant moins d'heures de cours qu'un professeur ordinaire et qu'il ne prévoyait pas d'horaire de travail. Les professeurs de sport devaient par contre participer à davantage d'activités extrascolaires (ou clubs) par semaine. Il a également été établi que la durée du travail pour les professeurs de sport n'a pas non plus été réglementée par le descriptif susmentionné, dont on ignore par ailleurs s'il a effectivement été communiqué à l'employé, qui se bornait en tout cas à prévoir que la " présence à l'école " serait fixée en fonction de " l'horaire de sport pour l'année en cours ". La cour cantonale retient, en résumé, que " le temps de travail des professeurs de sport a été déterminé par l'employeur en fonction de ses besoins sans faire l'objet d'une réglementation contractuelle écrite ". A.b. Les rapports de travail entre l'employé et l'employeuse ont pris fin le 31 août 2010. L'employé a alors réclamé, par lettre du 8 février 2011, le paiement d'heures supplémentaires, à hauteur de 100'598 fr.25 brut. Par courrier du 28 février 2011, l'employeuse a refusé d'entrer en matière. Par réquisition du 25 février 2011, l'employé a introduit une poursuite à l'encontre de son employeuse pour un montant de 100'000 fr., avec intérêts à 5% l'an dès le 1er mars 2008. Cette dernière a formé opposition totale au commandement de payer qui lui a été notifié le 8 mars 2011. B. Par demande du 12 août 2011, l'employé (demandeur) a conclu à ce que son employeuse (défenderesse) soit condamnée à lui payer immédiatement la somme de 100'000 fr. brut, sous déduction des charges sociales usuelles, avec intérêts à 5% l'an dès le 1er mars 2008, et à ce que l'opposition formée par celle-ci au commandement de payer soit définitivement levée à concurrence du montant correspondant. Par réponse du 2 novembre 2011, la défenderesse a conclu au rejet de la demande. Par jugement du 6 août 2013, le Tribunal civil de l'arrondissement de l'Est vaudois a admis partiellement la demande, dit que la défenderesse est la débitrice du demandeur de la somme de 58'867 fr.50, dont à déduire les charges sociales incombant à l'employé, avec intérêts à 5% l'an dès le 9 mars 2011, et levé définitivement l'opposition formée par l'employeuse. La Cour d'appel civile du Tribunal cantonal vaudois, par arrêt du 3 décembre 2013, a admis l'appel interjeté par la défenderesse et rejeté l'appel joint formé par le demandeur. Par la voie de la réforme, elle a rejeté la demande de l'employé et maintenu l'opposition formée par l'employeuse. C. L'employé exerce un recours en matière civile au Tribunal fédéral contre l'arrêt de la Cour d'appel civile du 3 décembre 2013. Il conclut, sous suite de frais et dépens, à la réforme de l'arrêt entrepris, à l'admission de sa demande, à ce que son ex-employeuse soit condamnée à lui payer immédiatement la somme de 90'822 fr.35 (dont à déduire la part des charges sociales incombant à l'employé), avec intérêts à 5% l'an dès le 9 mars 2011, à ce que l'opposition formée contre le commandement de payer correspondant soit levée, les frais et les dépens étant mis à la charge de l'intimée. Le recourant invoque une appréciation arbitraire des preuves (art. 9 Cst.), la violation de la théorie de la confiance et une application erronée de l'art. 321c CO. L'intimée conclut au rejet du recours.