Faits : A. A.a. Jusqu'à fin 2003, B._ a travaillé auprès de I._ SA, au service de gestion des salaires au sein du département des ressources humaines. Il utilisait un programme informatique créé par C._ SA, qui avait concédé à son employeur une licence d'utilisation et lui assurait des services de maintenance et d'assistance. I._ SA a décidé de transférer son service de gestion des salaires à C._ SA, société dont E._ est directeur, administrateur et actionnaire majoritaire et qui a pour but "étude et développement de systèmes informatiques, courtage en assurances et réassurances, gestion et analyse de portefeuille d'assurances ". B._ a alors été engagé par cette société en qualité de " HR Outsourcing Director " par contrat de travail du 9 décembre 2003 pour le 1er janvier 2004, en contrepartie d'un salaire annuel brut de 153'063 fr. Son contrat contient une clause de non-concurrence. A.b. En 2005, E._ a acheté la totalité des actions d'une autre société, dont il a modifié la raison sociale en F._ Sàrl, en vue de déployer ses activités à l'étranger. A.c. Entre le 7 novembre et le 8 décembre 2006, B._ a élaboré plusieurs business plans " confidentiels " avec A._, un autre employé de C._, qui avait été engagé en mai 2005 en qualité de courtier en assurances, chargé de vendre des polices d'assurances aux clients du département dont B._ s'occupait. Le 21 décembre 2006, le directeur de C._ a convoqué B._ en présence de deux agents de sécurité et l'a licencié avec effet immédiat. Par lettre de résiliation du même jour, C._ a précisé à B._ qu'elle avait découvert avec consternation qu'il préparait avec A._ la mise sur pied d'une structure concurrente (objet des business plans) et qu'elle ne pouvait tolérer des violations aussi caractérisées de ses devoirs de fidélité, de diligence et de non-concurrence. A la même date, C._ a résilié le contrat de travail de A._. B._ a contesté son licenciement le 29 décembre 2006 et a déclaré se tenir à disposition de son employeur jusqu'à la fin du délai de congé. Le 15 février 2007, C._ a déposé plainte pénale contre A._ pour abus de confiance, plainte qui a été ensuite étendue contre celui-ci et contre B._ pour concurrence déloyale. L'enquête pénale a abouti à une ordonnance de non-lieu. La caisse de chômage a versé à B._ des indemnités pour la période de décembre 2006 à mars 2007 de 17'368 fr. 45, charges sociales déduites. A.d. B._ a fait notifier à C._ trois commandements de payer pour respectivement 15'500 fr., 7'500 fr. et 7'532 fr. Au montant de 7'532 fr. qu'elle a admis, C._ a opposé en compensation le montant de 5'000 fr. B. Le 16 mai 2007, B._ a ouvert action en paiement contre C._ SA devant la Cour civile du Tribunal cantonal du canton de Vaud, concluant à ce que la défenderesse soit condamnée à lui payer le montant total de 442'272 fr. 85 brut, sous déduction des cotisations aux assurances sociales, avec intérêts à 5 % l'an dès le 22 décembre 2006, soit les montants de: 1) 112'304 fr. 35 à titre de complément de salaire; 2) 41'784 fr. 45 pour salaire relatif à la période de congé; 3) 76'531 fr. 50 pour licenciement immédiat injustifié; 4) 138'310 fr. pour heures supplémentaires; 5) 31'081 fr. 75 pour vacances non prises au service de C._; 6) 11'728 fr. 80 pour vacances non prises au service de I._; 7) 15'500 fr. pour un montant versé par lui à son employeur, 8) 7'500 fr. pour un montant versé par lui à son employeur, 9) 7532 fr. pour un montant versé par lui à son employeur, dont à déduire un montant de 5'000 fr. La caisse cantonale de chômage, intervenante, subrogée au demandeur, a réclamé le montant de 17'368 fr. avec intérêts à 5% l'an dès le 22 décembre 2006. La défenderesse a conclu au rejet de la demande et, reconventionnellement, au paiement de 1'467 fr. 95 avec intérêts à 5% l'an dès le 12 octobre 2007. Le juge instructeur de la cour civile a entendu 11 témoins, dont A._ et E._. Par jugement du 13 février 2013, la cour civile, qui a retenu que l'existence de motifs justifiant une résiliation immédiate du contrat de travail du demandeur n'a pas été établie, a admis totalement ou partiellement six des postes susmentionnés. Statuant le 21 mai 2014, la Cour d'appel civile du Tribunal cantonal vaudois, admettant que le licenciement immédiat est justifié n'en a admis que trois, soit le n° 5 pour les vacances non prises au service de C._ à raison de 17'914 fr. 50, le n° 8 pour le remboursement de 7'500 fr. et le n° 9 pour le remboursement de 7'532, sous déduction de 5'000 fr., rejetant tous les autres postes. C. Contre cet arrêt du 21 mai 2014, B._ a interjeté un recours en matière civile au Tribunal fédéral le 26 juin 2014. Il reprend les conclusions de sa demande sur les quatre postes n°s 1, 3, 7 et 9, le montant alloué par le tribunal de première instance pour le poste n° 2, ainsi que le poste du montant à rembourser à l'intervenante. Il conclut principalement à la réforme de l'arrêt attaqué dans le sens de l'admission des conclusions de sa demande sur ces postes, à la mainlevée définitive des oppositions à trois commandements de payer et, subsidiairement, à l'annulation de cet arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Il demande que les faits soient complétés, se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits et de violation de l'art. 8 CC, ainsi que des art. 322, 327a, 327b et 337 et 337c CO. La Caisse de chômage s'est référée aux conclusions du recourant. L'intimée conclut au rejet du recours dans la mesure de sa recevabilité. Le recourant a déposé des observations, ensuite de quoi l'intimée a renoncé à dupliquer.