Faits :
A.
A.a. A._ a été engagé par la société C._ SA (ci-après: C._), société qui a pour but "étude et développement de systèmes informatiques, courtage en assurances et réassurances, gestion et analyse de portefeuille d'assurance " et dont E._ est directeur, administrateur et actionnaire majoritaire. Il a travaillé tout d'abord à 50% pour une durée déterminée de 4 mois, selon contrat de travail du 9 mai 2005, puis a été engagé à 100% pour une durée indéterminée en qualité de " Directeur département courtage " par contrat de travail du 27 octobre 2005. Son salaire a alors été fixé à 10'000 fr. par mois, versé douze fois l'an. Son contrat contient une clause de non-concurrence.
E._ est également l'unique associé gérant de la société F._ Sàrl, société qui devait servir à déployer ses activités à l'étranger.
A.b. En août 2005, A._ a conclu en son nom une " convention de commission " avec la société G._ SA et a perçu de cette compagnie des commissions qu'il a encaissées pour lui-même.
A.c. Entre le 7 novembre et le 8 décembre 2006, A._ a élaboré plusieurs business plans " confidentiels " avec B._, un autre employé de C._, qui avait été engagé en 2004 en qualité de " HR Outsourcing Director ".
A.d. Le 21 décembre 2006, A._ a été licencié avec effet immédiat. Par lettre de résiliation du même jour, C._ lui a précisé qu'elle avait découvert avec consternation qu'il préparait avec B._ la mise sur pied d'une société concurrente et qu'il avait négligé, en violation de sa mission, de contracter une assurance de responsabilité civile professionnelle, et qu'elle ne pouvait tolérer des violations aussi caractérisées de ses devoirs de fidélité, de diligence et de non-concurrence. A la même date, C._ a résilié le contrat de B._.
A._ a contesté son licenciement par courrier du 22 décembre 2006.
Il a fait notifier un commandement de payer à son employeur pour un montant de 6'500 fr. avec intérêts correspondant à son salaire du mois de décembre 2006.
Le 15 février 2007, C._ a déposé plainte pénale contre A._ pour abus de confiance, plainte qui a été ensuite étendue contre celui-ci et contre B._ pour concurrence déloyale. L'enquête pénale a abouti à une ordonnance de non-lieu.
La Caisse de chômage a versé des indemnités à A._.
B.
Le 8 juin 2007, A._ a ouvert action en paiement contre C._ devant le Tribunal civil de l'arrondissement de la Côte, concluant à ce que la défenderesse soit condamnée à lui payer différents montants, dont demeurent litigieux les suivants:
1) 10'000 fr. avec intérêts à titre de salaire pour le mois de décembre 2006,
2) 20'000 fr. avec intérêts à titre de salaire brut durant le délai de congé,
3) 20'000 fr. avec intérêts à titre d'indemnité de l'<ref-law>,
4) 14'016 fr. 15 avec intérêts au titre de remboursement de frais (sauf un montant de 1'789 fr. déjà alloué).
La défenderesse a conclu au rejet des conclusions de la demande et, reconventionnellement, à la condamnation du demandeur à lui payer trois montants, dont seuls demeurent litigieux:
5) 22'649 fr. 25, dont 7'344 fr. au titre de sous-commissions payées à H._,
6) 2'389 fr. 75 au titre de remboursement sur des factures de téléphone qu'elle avait à tort pris en charge.
En procédure, la défenderesse a invoqué également un troisième motif de résiliation du contrat de travail: le demandeur a contracté, à son insu, en son propre nom, une convention de commission avec la société G._ SA et conservé les commissions encaissées.
La Caisse de chômage est intervenue au litige et a pris des conclusions en paiement d'un montant de 16'325 fr. 65, correspondant aux indemnités versées au demandeur pour les mois de décembre 2006 à février 2007.
Le tribunal a ordonné la production du dossier pénal et fixé un délai aux parties pour préciser leurs réquisitions de pièces respectives, ce qu'il a fait conformément à l'art. 185 al. 2 aCPC/VD. Le tribunal a ensuite entendu neuf témoins, dont E._ et B._.
Par jugement du 22 juin 2012, le tribunal d'arrondissement, qui a retenu qu'il n'y avait pas de justes motifs de résiliation immédiate du contrat de travail, a condamné la défenderesse à payer au demandeur le salaire du mois de décembre 2006 par 10'000 fr. avec intérêts, le montant de 20'000 fr. avec intérêts au titre de salaire jusqu'à l'échéance du délai de congé, le montant de 5'000 fr. au titre d'indemnité de l'<ref-law>, sous déduction des montants de 2'389 fr. 75 au titre du remboursement de factures de téléphones qui n'étaient pas à charge de la défenderesse et de 22'649 fr. 25 au titre des commissions encaissées et conservées par le demandeur.
Statuant par arrêt du 21 mai 2014, la Cour d'appel civile du tribunal cantonal vaudois a partiellement admis les appels interjetés par le demandeur et par la défenderesse et l'a réformé en ce sens que le demandeur doit payer à la défenderesse les montants de 2'389 fr. 75 avec intérêts, 22'649 fr. 25 avec intérêts, sous déduction de 6'774 fr. 20 avec intérêts et 1'789 fr. sans intérêts, les conclusions de la caisse d'assurance chômage étant rejetées.
C.
Contre cet arrêt, A._ a interjeté un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral le 26 juin 2014, concluant à ce que l'arrêt cantonal soit réformé en ce sens que C._ soit condamnée à lui payer les montants de 10'000 fr. avec intérêts, 20'000 fr. avec intérêts, 20'000 fr. avec intérêts, 14'016 fr. 15 avec intérêts et à ce qu'il soit constaté qu'il ne doit pas le montant de 7'344 fr., toutes autres conclusions dirigées contre lui devant être rejetées. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
L'intimée conclut au rejet du recours dans la mesure de sa recevabilité. Les parties n'ont pas déposé d'observations par la suite.

Considérant en droit :
1.
Le recours en matière civile au Tribunal fédéral peut être exercé pour violation du droit suisse tel qu'il est délimité à l'<ref-law>, en particulier du droit fédéral, y compris le droit constitutionnel (let. a). C'est donc à tort que le recourant a cru devoir interjeter également un recours constitutionnel subsidiaire pour faire valoir notamment l'arbitraire et la violation de son droit d'être entendu au sens de l'art. 29 al. 2 Cst. et de l'art. 6 par. 1 CEDH. Le recours constitutionnel sera donc déclaré irrecevable et les griefs traités dans le cadre du recours en matière civile.
Déposé en temps utile (<ref-law>) par le demandeur qui a succombé partiellement dans ses conclusions en paiement (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu sur recours par le tribunal supérieur du canton (<ref-law>) dans une contestation du contrat de travail dont la valeur litigieuse est supérieure à 15'000 fr. (art. 72 al. 1 et 74 al. 1 let. a LTF), le recours en matière civile est recevable au regard de ces dispositions.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). La partie recourante qui soutient que les faits ont été constatés d'une manière arbitraire doit satisfaire au principe d'allégation (<ref-law>), c'est-à-dire soulever expressément ce grief et exposer celui-ci de façon claire et détaillée (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.2).
Le Tribunal fédéral applique d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié ou complété après examen des griefs du recours). Cela ne signifie pas que le Tribunal fédéral examine, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser. Compte tenu de l'obligation de motiver imposée par l'<ref-law>, il ne traite que les questions qui sont soulevées devant lui par les parties, à moins que la violation ne soit manifeste (<ref-ruling> consid. 2; <ref-ruling> consid. 2.2; arrêts 4A_399/2008 du 12 novembre 2011 consid. 2.1, non publié in <ref-ruling>).
Sous réserve des hypothèses visées à l'art. 95 let. c et d LTF, la violation du droit cantonal n'est pas un motif de recours. Toutefois, il est toujours possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 2.3). En ce qui concerne la façon dont le droit cantonal a été appliqué, il ne faut pas confondre arbitraire et violation de la loi; une violation doit être manifeste et reconnue d'emblée pour être considérée comme arbitraire. Le Tribunal fédéral n'a pas à examiner quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement dire si l'interprétation qui a été faite est défendable (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1). Il appartient au recourant d'établir la réalisation de ces conditions, par une argumentation précise répondant aux exigences de l'<ref-law> (principe d'allégation; <ref-ruling> consid. 2.3). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (cf. <ref-ruling> consid. 1.3; <ref-ruling> consid. 1b).
3.
A l'appui de ses conclusions en paiement d'une indemnité de 20'000 fr., avec intérêts, fondée sur l'<ref-law> et d'une indemnité de 20'000 fr., avec intérêts, fondée sur l'<ref-law> (postes n° s 2 et 3), le recourant soutient que le congé immédiat qui lui a été communiqué le 21 décembre 2006 n'était pas justifié. Il se plaint d'appréciation arbitraire des faits et de violation de l'<ref-law>.
3.1. L'employeur et le travailleur peuvent résilier immédiatement le contrat en tout temps pour de justes motifs (art. 337 al. 1 1ère phrase CO). Doivent notamment être considérées comme de justes motifs toutes les circonstances qui, selon les règles de la bonne foi, ne permettent pas d'exiger de celui qui a donné le congé la continuation des rapports de travail (<ref-law>).
Selon la jurisprudence, la résiliation immédiate pour justes motifs doit être admise de manière restrictive. Les faits invoqués à l'appui d'un renvoi immédiat doivent avoir entraîné la perte du rapport de confiance qui constitue le fondement du contrat de travail. Seul un manquement particulièrement grave du travailleur justifie son licenciement immédiat; si le manquement est moins grave, il ne peut entraîner une résiliation immédiate que s'il a été répété malgré un avertissement. Par manquement du travailleur, on entend en règle générale la violation d'une obligation découlant du contrat de travail, mais d'autres incidents peuvent aussi justifier une résiliation immédiate (<ref-ruling> consid. 4.1 p. 31 et les arrêts cités).
En particulier, un manquement au devoir de fidélité du travailleur peut constituer un juste motif de congé. En vertu de l'<ref-law>, le travailleur doit sauvegarder fidèlement les intérêts légitimes de son employeur: il doit s'abstenir d'entreprendre tout ce qui pourrait lui nuire économiquement (<ref-ruling> consid. 3a p. 561). Toutefois, même si son contrat contient une clause de prohibition de concurrence, le travailleur ne viole pas son devoir de fidélité, si, envisageant avec d'autres de fonder une entreprise concurrente, il entreprend des préparatifs avant que le contrat de travail ne prenne fin, pour autant qu'il ne commence pas à concurrencer son employeur, à débaucher des employés ou à détourner de la clientèle (arrêt 4A_212/2013 du 10 octobre 2013 consid. 2.2; <ref-ruling> consid. 2.3.5 p. 73 s.).
Le juge apprécie librement s'il existe de justes motifs (<ref-law>). Il applique les règles du droit et de l'équité (<ref-law>). A cet effet, il prendra en considération tous les éléments du cas particulier, notamment la position et la responsabilité du travailleur, le type et la durée des rapports contractuels, ainsi que la nature et l'importance des manquements.
Le Tribunal fédéral ne revoit qu'avec réserve la décision d'équité prise par la cour cantonale. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionnera en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une inéquité choquante (<ref-ruling> consid. 4.1 p. 32, 213 consid. 3.1 p. 220 et les arrêts cités).
Il convient de préciser que, de manière générale, les éventuelles comparaisons avec des décisions judiciaires rendues dans des causes que les parties tiennent pour similaires à la leur doivent être appréciées avec circonspection. En effet, comme précédemment exposé, les justes motifs de l'<ref-law> supposent d'examiner l'ensemble des circonstances et laissent une large place à l'appréciation, de sorte qu'établir une casuistique en se focalisant sur un seul élément du dossier, sorti de son contexte, n'est pas significatif (arrêt 4A_60/2014 du 22 juillet 2014 consid. 3.2 publié in SJ 2014 I p. 481).
3.2. La cour cantonale expose les motifs pour lesquels elle estime que l'employé et son collègue ont cherché, en cours d'emploi, à mettre en place une structure concurrente à l'insu de leur employeur et ont cherché à débaucher des clients et des collaborateurs de celui-ci, ce qui constitue un juste motif de licenciement au sens de l'<ref-law>.
Elle a retenu tout d'abord qu'entre le 7 novembre et le 8 décembre 2006, l'employé et son collègue ont élaboré des business plans, dont l'examen et les circonstances dans lesquelles ils ont été élaborés démontrent que les deux employés ont préparé en cours d'emploi une activité concurrente à celle de leur employeur, sans l'accord de celui-ci. La cour relève ainsi que les business plans avaient pour objectif la création d'une société dont le but était similaire à celui de l'employeur. Or, aucun de ces plans ne mentionnait le nom du directeur de la société qui les employait, les actions de la nouvelle société à créer étaient réparties entre les deux employés et des tiers et les deux employés en étaient les seuls organes. Ils se sont envoyés ces projets par leurs adresses électroniques privées, sans en envoyer une copie au directeur de l'employeur. Si deux de ces projets mentionnent les numéros de téléphone et de télécopie et les adresses électroniques professionnelles des deux employés auprès de leur employeur, on ne peut en déduire que celui-ci a donné son accord; il n'est pas impossible que les employés voulaient profiter de leur position auprès de leur employeur pour rendre leur projet attractif.
Ensuite, la cour a considéré que le document intitulé " 2007 DB Consulting Budget ", qui dresse une liste de sociétés, pour la plupart clientes de l'employeur, ainsi qu'une liste de collaborateurs de celui-ci, révèle que l'employé et son collègue ont cherché, en cours d'emploi à débaucher des clients et des collaborateurs de leur employeur.
En outre, le demandeur avait conclu en son nom une convention de commission avec une compagnie d'assurances, sans en avoir jamais parlé à son employeur et avait fait des démarches - en contractant notamment une assurance responsabilité civile professionnelle à titre personnel - en vue de son inscription au registre des intermédiaires d'assurance.
La cour a estimé qu'il n'y avait aucun lien entre le projet de l'employé et de son collègue et celui de l'employeur en relation avec la société F._ Sàrl et qu'il ne pouvait être retenu que le directeur de l'employeur et les deux employés auraient eu le projet commun d'étendre leurs services à l'étranger. Le demandeur n'a rien pu alléguer quant aux circonstances dans lesquelles il aurait discuté d'un tel projet, ni allégué que des instructions lui auraient été données dans ce sens. Et il n'y a aucune preuve que l'employeur aurait donné son accord à un tel projet.
La cour cantonale a également retenu que les relations entre les parties s'étaient détériorées au cours de l'année 2006 en raison de divergences sur les notes de frais et que l'employeur avait envisagé de résilier le contrat de l'employé en respectant les délais de résiliation, avant d'apprendre l'existence des business planset de résilier celui-ci avec effet immédiat. Elle en a déduit qu'il n'est pas vraisemblable que E._ ait donc voulu créer une nouvelle société en partenariat avec le demandeur en décembre 2006 et encore moins qu'il ait donné son accord à la mise sur pied d'une structure concurrente.
Enfin, la cour cantonale a considéré que les événements qui ont suivi le licenciement, dont on peut tenir compte pour évaluer la volonté des deux employés, corroborent l'appréciation selon laquelle ceux-ci ont tenté de mettre en place, en cours d'emploi, une structure concurrente à l'insu de leur employeur.
En conclusion, la cour cantonale a tenu pour établi que le demandeur a, en cours d'emploi, préparé une activité concurrente à celle de son employeur sans l'accord de celui-ci et que ce comportement doit être qualifié de particulièrement grave et constitutif d'un juste motif de résiliation au sens de l'<ref-law>. Ces faits étaient d'ailleurs d'autant plus graves que l'employé occupait une fonction de cadre, qu'il était lié par une clause de non-concurrence et que l'employeur est actif dans un marché très fermé dans lequel peu d'entreprises offrent les mêmes prestations.
3.3. Le recourant présente une argumentation touffue et redondante, mélange les griefs de fait et de droit et, s'agissant de violation du droit d'être entendu, du droit à la preuve et de l'établissement inexact des faits, traite de tous les objets litigieux en même temps. Son recours est peu lisible et à la limite de l'irrecevabilité.
3.3.1. Tout d'abord, sur 14 pages, le recourant se plaint d'arbitraire dans l'appréciation des faits, affirmant en substance que tous les éléments retenus par la cour cantonale auraient dû être interprétés dans l'autre sens, à savoir que lui et son collègue envisageaient, par ces business plans, de créer une nouvelle société dont le but était similaire à celui de la défenderesse, à laquelle E._ devait participer, et que l'interprétation de la cour cantonale est choquante, en contradiction avec l'appréciation du juge pénal et qu'elle a été systématiquement défavorable aux employés.
Par ces longues critiques, dont le lecteur peine à discerner le fil rouge, le recourant ne fait que proposer une interprétation inverse qui ne serait " pas moins valable ou moins cohérente que celle élaborée par la Cour ", ne fait qu'opposer ses propres déclarations et celles de son collègue à l'appréciation que la cour a faite sur la base des pièces et des témoignages. Ce faisant, en tant qu'il s'en prend à l'établissement des faits, ses critiques sont purement appellatoires et, partant, irrecevables. En tant qu'elles viseraient l'appréciation juridique des faits, qui relève du droit et non du fait, le recourant ne démontre pas que la cour cantonale aurait violé son pouvoir de libre appréciation.
Lorsqu'il reproche à la cour cantonale d'avoir adopté une solution en contradiction avec le non-lieu rendu par le juge pénal, le recourant méconnaît le principe de l'indépendance du juge civil ancré à l'<ref-law>. Lorsqu'il soutient que le juge civil ne devait pas s'écarter sans motifs des constatations du juge pénal, le recourant semble vouloir ignorer qu'après avoir entendu les parties et interrogé neuf témoins, le juge a estimé, sur la base de sa propre administration des preuves, que le demandeur et son collègue ont cherché à débaucher des collaborateurs et détourner des clients déjà pendant la durée des rapports de travail.
3.3.2. Sous le titre de violation de l'<ref-law>, le recourant reproche à la cour cantonale d'avoir retenu qu'il avait tenté de mettre en place une structure parallèle concurrente, alors qu'il n'a développé qu'un projet et qu'une idée, non concrétisée, ne saurait être un juste motif de résiliation.
Par cette critique, qui semble être en contradiction avec celles développées précédemment, le recourant ne reproche pas à la cour cantonale une mauvaise compréhension de la jurisprudence relative aux préparatifs que le travailleur a le droit d'entreprendre durant les rapports de travail. En tant qu'il soutient qu'il ne s'agirait que d'un projet, qu'il n'aurait pas encore commencé à concurrencer son employeur, à débaucher des collaborateurs ou à détourner de la clientèle, le recourant se fonde sur une situation de fait différente de celle retenue par la cour cantonale, laquelle - comme on l'a vu - résiste au grief d'arbitraire.
3.3.3. Sous deux titres, qui sont fondés sur la violation du droit d'être entendu et du droit à la preuve au sens des art. 2 et 163 al. 1 aCPC/VD et la constatation manifestement inexacte des faits (<ref-law>), le recourant se plaint du fait que la cour cantonale n'a pas admis toutes les pièces de la procédure pénale. Dès lors que sa motivation concerne en bloc plusieurs objets, dont la lecture est particulièrement mal aisée, la recevabilité de sa critique paraît d'emblée douteuse.
Quoi qu'il en soit, le recourant reproche à la cour cantonale d'avoir écarté les procès-verbaux d'audition pénale de lui-même et de son collègue affirmant qu'il a requis la production de l'entier du dossier pénal et que l'on ne saurait lui reprocher de n'avoir pas indiqué les pièces de celui-ci comme le tribunal le lui avait demandé conformément à l'art. 185 ch. 2 aCPC/VD, car il ne s'agit que d'une règle d'ordre qui ne saurait avoir d'effet matériel. Il reformule ce grief sous un autre titre - pour les pièces 303/1 à 303/6 -, affirmant que les déclarations de lui-même et de son collègue devant le juge pénal ont une crédibilité et une force probante plus grande. Dans la mesure où tous les éléments que le recourant entend déduire de ces pièces sont censés faire prévaloir le non-lieu du juge pénal sur la décision du juge civil, prise après l'audition des parties et de neuf témoins, il n'y a pas lieu d'y revenir, le sort de cette question ayant été scellé ci-dessus (cf. consid. 3.3.1).
3.4. La cour cantonale a encore retenu, comme troisième motif de licenciement, que le demandeur avait conclu en son nom, une convention de commission avec une compagnie d'assurances, sans en avoir jamais parlé à son employeur, ce que celui-ci n'a découvert qu'après le licenciement. Elle a considéré que ce manquement, s'il ne constituait pas un manquement grave tant que l'employé était occupé à 50%, il l'était devenu dès l'instant où il travaillait à 100% pour une durée indéterminée en qualité de directeur du département de courtage de la défenderesse. Vu son activité de cadre et la clause 1.4 de son contrat de travail, il ne pouvait exercer une activité d'indépendant parallèlement à son activité pour la défenderesse, ce qui justifiait une résiliation immédiate de son contrat de travail, ce d'autant plus qu'il avait perçu des montants importants en commissions.
Le recourant fait valoir, pêle-mêle, sous le titre d'arbitraire dans l'appréciation des faits, puis sous la violation de l'<ref-law>, ensuite sous le titre de violation du droit d'être entendu, en particulier du droit à la preuve, puis encore sous un nouveau titre sur le même objet que le précédent, des griefs touffus, mélangeant le fait et le droit. En substance, il reproche à la cour cantonale de n'avoir pas privilégié ses propres déclarations et celles de son collègue, telles que faites tant dans la présente procédure que dans la procédure pénale.
Dès lors que la cour cantonale a retenu, sans que le recourant ne la critique sur ce point, que tous les décomptes relatifs aux commissions dues en vertu de cette convention ont été envoyés à son adresse privée, sans copie à la défenderesse, que celui-ci a perçu des commissions qu'il n'a pas versées à la défenderesse, la question de savoir si c'est le témoin qui en ignorait l'existence ou la défenderesse revêt une importance secondaire. Dans sa conclusion, la cour cantonale retient que c'est la perception de commissions par le demandeur alors qu'il travaillait à 100% pour la défenderesse qui constitue un juste motif de résiliation.
3.5. Le licenciement étant justifié, les conclusions du demandeur en paiement du salaire pour la durée du congé et en indemnité selon l'<ref-law> sont infondées.
4.
En raison de son licenciement immédiat, justifié, la cour cantonale a alloué au demandeur pour la période du 1er au 21 décembre 2006, jour de son licenciement, un salaire de 6'774 fr. 20 brut avec intérêts à 5% l'an dès le 22 décembre 2006. Au vu du considérant précédent, le chef de conclusions relatif au poste n° 1 tendant au paiement de 10'000 fr. avec intérêts à 5% l'an dès le 1er janvier 2007 doit être rejeté.
5.
Le recourant fait valoir un montant de 14'016 fr. 15 (initialement de 14'352 fr. 20) au titre de remboursement de ses frais professionnels, soit de frais occasionnés par l'exécution de son travail.
5.1. La cour cantonale a constaté que ces frais concernent deux périodes. Pour la première période de mai 2005 à août 2006, la cour cantonale a considéré que le demandeur n'avait pas produit les pièces (sur lesquelles il se fonde) qu'il avait été invité à verser au dossier dans le délai qui lui avait été imparti en vertu de l'art. 185 al. 2 aCPC/VD, que seul un extrait du dossier pénal a été produit et que ces pièces n'y figurent pas. Pour la seconde période de septembre 2006 à février 2007, les frais concernent tout d'abord des frais de restaurant (dont les tickets n'ont pas été produits) sur la base desquels il n'est pas possible de déterminer ce qui aurait déjà été remboursé et dans quelle mesure ils concernent l'activité professionnelle; ensuite, ils visent des frais de leasing qui ne sont pas établis; enfin, la cour a admis la facture d'un montant de 1'789 fr. pour des réparations effectuées sur le véhicule du demandeur, qu'elle a repris dans son dispositif.
5.2. Le recourant conteste tout d'abord qu'il n'aurait pas prouvé ces frais, affirmant que son employeur lui a toujours payé ses frais, qu'ils aient été l'objet d'un décompte signé ou non et qu'il était donc légitimé à croire qu'ils seraient admis et lui seraient remboursés. Par cette critique " en bloc ", le recourant ne démontre pas en quoi la cour cantonale aurait commis l'arbitraire.
Le recourant reproche également à la cour cantonale d'avoir écarté les pièces 24/1 à 24/19 produites dans la procédure pénale, démontrant que c'est un montant de 49'366 fr. 50 et non de 46'013 fr. 90 qui aurait dû lui être remboursé. En tant qu'il se limite à invoquer avoir requis la production de l'entier du dossier pénal, le recourant ne démontre pas en quoi il était arbitraire pour le tribunal d'exiger de lui, conformément au droit cantonal de procédure, qu'il produise directement lui-même dans la procédure civile les pièces justifiant ses frais professionnels.
6.
Sous le poste n° 5 de ses conclusions, le recourant demande qu'il soit dit et constaté qu'il ne doit pas à la défenderesse le montant de 7'344 fr. (soit 5'430 fr. et 1'914 fr.) qu'il a payé à H._ au titre de sous-commissions.
Sur les commissions qu'il a encaissées de la compagnie d'assurances, conformément à la convention de commission, le recourant a soutenu devant la cour cantonale que les deux montants susmentionnés étaient dus à H._ en vertu d'un contrat de " commissionnement " et devaient être retranchés du montant total de 22'649 fr. 25 auquel les premiers juges avaient fixé son obligation de restitution à la défenderesse. La cour cantonale a considéré que le demandeur n'a pas établi l'existence de ce contrat de " commissionnement " et que la pièce 116 produite dans la procédure pénale n'a pas été produite dans la procédure civile, de sorte que la preuve n'en a pas été rapportée.
Sous le titre de violation du droit d'être entendu et du droit à la preuve au sens des art. 2 et 163 al. 1 aCPC/VD et de constatation manifestement inexacte des faits (<ref-law>), le recourant se plaint de ce que la pièce 116 a été écartée parce qu'elle n'aurait pas été versée à la procédure civile, que la cour aurait omis de prendre en considération la pièce 308, correspondant à la pièce 57 du dossier pénal démontrant des retraits équivalents de son compte bancaire et destinés à payer les sous-commissions à son intermédiaire. Puis à nouveau, sous un titre au libellé identique au précédent, il fait valoir qu'il a donné cette explication au juge pénal, qui a prononcé l'ordonnance de non-lieu.
Par cette critique, le recourant se limite à des affirmations. En particulier, il ne démontre pas avoir produit un contrat de " commissionnement " avec l'intéressée, ni ne démontre en quoi la cour cantonale aurait appliqué arbitrairement le droit cantonal en retenant qu'il devait produire cette pièce dans la procédure civile. Son grief est irrecevable.
7.
Sous son chef de conclusions tendant au rejet de toutes autres conclusions, le recourant semble remettre en cause toute condamnation en faveur de la défenderesse, soit le solde du montant de 22'649 fr. 25 et le montant de 2'389 fr. 75.
7.1. S'agissant du premier de ces montants, son recours ne contient aucune motivation. Son chef de conclusions est donc irrecevable sur ce point.
7.2. Quant au second, la cour cantonale a retenu que le demandeur a adressé des factures de téléphone à la défenderesse en vue de leur remboursement, mais que seules les factures du numéro de téléphone professionnel (n° 1), à l'exclusion de celles du numéro de son fils (n° 2) et d'un autre numéro sans lien avec son activité professionnel (n° 3), devaient être prises en charge par la défenderesse. Dès lors que la défenderesse a acquitté des factures pour 2'389 fr. 73 concernant des montants concernant les n°s 2 et 3, elle a condamné - sans plus ample motivation - le demandeur à rembourser ce montant de 2'389 fr. 75 avec intérêts.
Le recourant soutient qu'il a invoqué dans sa réponse à l'appel - en relation avec les frais de véhicule - et dans sa duplique à l'appel - de manière générale, que la restitution, qui serait due selon les règles de l'enrichissement illégitime, serait prescrite.
Or, d'une part, le recourant ne se plaint pas d'une violation de l'art. 29 al. 2 Cst. D'autre part, la prescription doit être soulevée par voie d'exception et motivée en première instance déjà (<ref-law>), le juge ne pouvant la retenir d'office; dès lors que le recourant indique lui-même ne l'avoir fait valoir que dans le cadre de la procédure d'appel, l'invocation de la prescription est clairement tardive et n'avait pas à être prise en considération.
8.
Au vu de ce qui précède, le recours doit être rejeté, aux frais de son auteur (<ref-law>). Le recourant devra également verser à sa partie adverse une indemnité à titre de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière civile est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4.
Le recourant versera à l'intimée une indemnité de 5'000 fr. à titre de dépens.
5.
Le présent arrêt est communiqué aux parties, à la Caisse d'assurance chômage D._ et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 17 décembre 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Klett
Le Greffier : Piaget