Faits :
A.
Le 22 janvier 2018, A._ a déposé une demande devant le Tribunal de prud'hommes de l'arrondissement de La Côte à l'encontre de B._ et C._.
Dans sa demande, il a notamment exposé qu'il était entré au service de ces derniers en qualité d'employé de maison à compter du mois de juin 2014 et qu'à partir du 1er octobre 2014, les parties avaient signé un contrat de travail " définitif ", daté du 30 septembre 2014, prévoyant qu'il travaillait dorénavant à plein temps pour les intéressés pour un salaire mensuel de 6'000 fr. par mois. Il a en outre fait valoir qu'en raison d'un désaccord sur quelques points, notamment le salaire, les clauses litigieuses avaient été modifiées par les employeurs et que le contrat avait au préalable fait l'objet de deux projets. A._ a précisé que les clauses litigieuses figuraient sur la première page du contrat, de sorte que seule celle-ci avait été modifiée dans les différents projets. Enfin, il a indiqué qu'entre les mois d'octobre 2014 et de décembre 2015, il avait reçu un salaire mensuel de 5'000 fr. seulement, alors que le contrat prévoyait un salaire de 6'000 francs.
A l'appui de sa demande, il a produit les trois contrats précités, des décomptes de réception de salaire pour les mois de novembre 2014 à décembre 2015 portant sur un salaire de 5'000 fr. et des décomptes concernant les mois de janvier 2016 et suivants portant sur un salaire de 6'000 fr., ainsi que sa lettre de résiliation, datée du 28 décembre 2016, dans laquelle il a notamment écrit que le travail ne lui convenait plus.
A.a. Le 13 avril 2018, B._ et C._ ont déposé plainte pénale contre A._ pour faux dans les titres.
Dans leur plainte, ils ont exposé que A._ avait, dans le cadre de la procédure ouverte par celui-ci devant le tribunal de prud'hommes, produit un contrat de travail qui n'était pas celui-ci signé par les parties, qu'il avait en effet, selon eux, compilé la première page d'un projet de contrat avec la deuxième page du contrat effectivement signé par les parties et qu'il se servait de ce document, qu'il avait donc créé, afin de faire valoir des prétentions indues, à savoir un différentiel de salaire de 1'000 fr. par mois pendant quinze mois, soit une somme de 15'000 francs.
A l'appui de leur plainte, B._ et C._ ont notamment produit, selon eux, le véritable contrat de travail conclu entre les parties, prévoyant un début d'activité de leur employé au 1er novembre 2014 et un salaire mensuel de 5'000 fr., une lettre datée du 10 février 2017 provenant de la compagnie de protection juridique de A._, un courrier daté du 28 novembre 2014 adressé par C._ à la Caisse cantonale vaudoise de compensation AVS afin d'affilier leur employé, dans lequel il est fait état d'une entrée en fonction au 1er novembre 2014 et d'un salaire mensuel de 5'000 fr., ainsi qu'une attestation de l'employeur de l'assurance-chômage, dans laquelle C._ a également fait mention d'une entrée en fonction de A._ au 1er novembre 2014.
Le 17 avril 2018, le Ministère public de l'arrondissement de La Côte a ouvert une instruction pénale contre A._ pour escroquerie et faux dans les titres.
A.b. Le 14 mai 2018, A._ a à son tour déposé plainte contre B._ et C._ pour calomnie, faux dans les titres, dénonciation calomnieuse et induction de la justice en erreur.
Dans sa plainte, il reprochait aux prénommés, d'une part, d'avoir porté de fausses accusations à son égard dans leur plainte du 13 avril 2018, le faisant notamment apparaître comme une personne méprisable, et, d'autre part, d'avoir produit un faux contrat de travail dans la procédure prud'homale pour se soustraire à leurs obligations légales et financières.
Le 31 mai 2018, le ministère public a décidé de l'ouverture d'une instruction pénale contre B._ et C._ pour faux dans les titres et dénonciation calomnieuse.
A.c. Le 14 novembre 2018, A._ a déposé une nouvelle plainte contre B._ et C._ pour abus de confiance. Il leur reprochait d'avoir reçu, le 5 mai 2017, de la part de D._ SA, un montant de 4'419 fr. correspondant à des indemnités journalières perte de gain le concernant pour la période comprise entre le 1er et le 28 février 2017, alors que ce montant aurait, selon lui, dû lui être reversé.
A.d. Par ordonnance du 19 novembre 2019, le ministère public a prononcé le classement de la procédure pénale dirigée contre B._ et C._ pour abus de confiance, faux dans les titres et dénonciation calomnieuse.
B.
Par arrêt du 11 mars 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours déposé par A._ à l'encontre de l'ordonnance de classement du 19 novembre 2019, qu'elle a confirmée.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt précité. Il conclut, avec suite de frais et dépens, principalement, à la réforme de l'arrêt attaqué en ce sens que l'ordonnance de classement du 19 novembre 2019 est annulée et que C._ et B._ sont mis en accusation pour abus de confiance, faux dans les titres et dénonciation calomnieuse. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1. p. 4). La notion d'influence du jugement pénal sur les prétentions civiles est conçue strictement. La partie plaignante ne peut pas s'opposer à une décision parce que celle-ci ne facilite pas son action sur le plan civil. Il faut que la décision attaquée ait pour conséquence qu'elle rencontrera plus de difficultés à faire valoir ses prétentions civiles (<ref-ruling> consid. 1a p. 188; arrêts 6B_524/2019 du 24 octobre 2019 consid. 1.1; 6B_1100/2018 du 17 décembre 2018 consid. 1.1).
En vertu de l'<ref-law>, il incombe à la partie recourante d'alléguer les faits qu'elle considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le ministère public qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4).
Si la partie plaignante se plaint d'infractions distinctes, elle doit mentionner, par rapport à chacune d'elles, en quoi consiste son dommage (arrêts 6B_356/2020 du 24 avril 2020 consid. 2.1; 6B_199/2020 du 9 avril 2020 consid. 1.1).
1.2. En l'espèce, s'agissant de l'infraction d'abus de confiance, le recourant invoque un dommage d'un montant de 4'419 fr., qui correspond aux indemnités journalières pour perte de gain du recourant pour le mois de février 2017 que les intimés ont reçues de la part de D._ SA et qu'ils auraient gardé au lieu de les reverser au recourant. Par cette argumentation, le recourant explique suffisamment en quoi consistent ses prétentions civiles pour ce qui est de l'infraction d'abus de confiance, de sorte que la qualité pour recourir doit lui être reconnue.
1.3. S'agissant des infractions de faux dans les titres et de dénonciation calomnieuse, on comprend que le recourant chiffre à 26'418 fr. 65 son dommage résultant du fait que les intimés ont déposé plainte pénale contre lui pour faux dans les titres (pour avoir créé et produit un contrat de travail falsifié) et ont produit un autre contrat de travail qu'ils prétendent être le vrai et que le recourant estime être un faux. Dans son mémoire de recours, le recourant explique que ses prétentions civiles "dépendent manifestement de la validité du contrat de travail produit par [lui]" et qu'en classant ses plaintes contre les intimés, "les juridictions inférieures ont considéré que le contrat de travail produit par les intimés était le véritable contrat de travail " (mémoire de recours, p. 4).
Le montant de 26'418 fr. 65 correspond à l'ensemble des prétentions salariales que le recourant a fait valoir devant le Tribunal de prud'hommes de l'arrondissement de La Côte, avant la prétendue commission des infractions reprochées aux intimés (cf. demande du 22 janvier 2018; pièce 4/4 du dossier cantonal). Sans autre développement de la part du recourant, on ne voit pas en quoi ce dommage allégué résulterait directement des infractions de faux dans les titres et dénonciation calomnieuse, étant rappelé que, selon la jurisprudence, le recourant ne peut s'opposer au classement de la procédure pénale simplement pour augmenter ses chances d'obtenir gain de cause dans un procès civil conduit en parallèle (cf. arrêt 6B_262/2020 du 6 mars 2020 consid. 2.2; <ref-ruling> consid. 1a p. 188). Il est dès lors douteux que le recours soit recevable sur ce point.
En tout état de cause, le recours serait-il recevable sous cet angle qu'il devrait de toute façon être rejeté sur le fond, pour les motifs qui suivent.
2.
Dénonçant la violation de son droit d'être entendu, le recourant fait grief à la cour cantonale d'avoir considéré que la mise en oeuvre d'une expertise scientifique était inutile.
2.1. Le droit d'être entendu, tel qu'il est garanti par les art. 29 al. 2 Cst. et 3 al. 2 let. c CPP, comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 2a/aa p. 16). En procédure pénale, l'<ref-law> prévoit que le ministère public ne peut écarter une réquisition de preuves que si celle-ci exige l'administration de preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés en droit. Selon l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236).
2.2. En l'espèce, la cour cantonale a considéré que dès lors qu'il pouvait être exclu avec un haut degré de vraisemblance que les intimés avaient produit un faux contrat dans la procédure civile et que l'instruction sur ce point apparaissait par ailleurs complète et approfondie, elle ne voyait pas quelle autre mesure complémentaire pourrait être envisagée. En particulier, elle a relevé qu'une expertise scientifique apparaissait inutile.
2.3. Le recourant rappelle que, sur le contrat produit par les intimés, aucune date n'est mentionnée et il y a des problèmes de numérotation (cf. mémoire de recours, p. 16). Dans l'arrêt attaqué, la cour cantonale a relevé que l'intimé 3 s'était expliqué de manière claire sur l'établissement de ce document et avait précisé qu'il l'avait rédigé rapidement et qu'il avait probablement oublié d'y inscrire la date. La cour cantonale a estimé ces propos crédibles et le recourant, qui se contente de dire que l'intimé 3 n'a donné aucune explication cohérente sur ces questions, oppose sa propre appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci serait arbitraire. Pour le surplus, le recourant soutient qu'une expertise scientifique pourrait permettre de lever tout doute sur la question de savoir " si l'établissement d'une version devait s'avérer postérieure à une autre " (mémoire de recours, p. 17). Comme le relève le recourant, la cour cantonale a bien relevé qu' "une telle expertise pourrait théoriquement certes permettre de déterminer la date de l'impression des documents en question ou l'imprimante utilisée ". Cependant, elle a constaté qu' "on sa[vait] déjà qu'en l'occurrence, les différents projets [avaient] été élaborés à des dates successives par [l'intimé 3] au moyen de sa machine à écrire électrique", de sorte qu'une telle expertise apparaissait inutile (arrêt attaqué, p. 14). A nouveau, le recourant ne fait que présenter sa propre appréciation des faits, sans démontrer en quoi l'appréciation anticipée de la preuve à laquelle s'est livrée l'autorité précédente serait arbitraire. Son grief doit être rejeté dans la mesure où il est recevable.
3.
Dénonçant une violation du principe in dubio pro duriore (<ref-law>) et une constatation arbitraire des faits, le recourant reproche à la cour cantonale d'avoir confirmé le classement de la procédure pénale dirigée contre les intimés.
3.1. Selon l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a) ou lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b). Cette disposition doit être appliquée conformément au principe " in dubio pro duriore ". Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et <ref-law> en relation avec les art. 319 al. 1 et 324 al. 1 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées; arrêt 6B_203/2020 du 8 mai 2020 consid. 2.1).
Face à des versions contradictoires des parties, il peut être exceptionnellement renoncé à une mise en accusation lorsqu'il n'est pas possible d'apprécier l'une ou l'autre version comme étant plus ou moins plausible et qu'aucun résultat n'est à escompter d'autres moyens de preuve (cf. arrêts 6B_375/2020 du 9 juillet 2020 consid. 3.2; 6B_1239/2018 du 11 mars 2019 consid. 3.1).
3.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), à moins qu'ils aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 155 s.). Lorsque les éléments de preuve au dossier sont peu clairs, le ministère public et l'autorité de recours ne sauraient anticiper l'appréciation des preuves qu'en ferait le tribunal du fond. Ainsi, lorsque le recours porte sur le classement de la procédure ou une non-entrée en matière, le Tribunal fédéral, dont le pouvoir de cognition est limité à l'arbitraire selon l'<ref-law>, n'examine pas si les constatations de fait de l'autorité précédente sont arbitraires, mais si celle-ci aurait pu arbitrairement s'écarter d'un moyen de preuve clair ou, à l'inverse, tenir arbitrairement un fait comme clairement établi (<ref-ruling> consid. 2.3.2 p. 244 s.; arrêt 6B_375/2020 du 9 juillet 2020 consid. 3.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156).
4.
Le recourant reproche à la cour cantonale d'avoir considéré qu'aucun indice justifiant une mise en accusation pour l'infraction de faux dans les titres n'était établi dans le cas d'espèce.
4.1. Selon l'<ref-law>, se rend coupable de faux dans les titres celui qui, dans le dessein de porter atteinte aux intérêts pécuniaires ou aux droits d'autrui, ou de se procurer ou de procurer à un tiers un avantage illicite, aura créé un titre faux, falsifié un titre, abusé de la signature ou de la marque à la main réelles d'autrui pour fabriquer un titre supposé, ou constaté ou fait constater faussement, dans un titre, un fait ayant une portée juridique, ou aura, pour tromper autrui, fait usage d'un tel titre. Sont des titres tous les écrits destinés et propres à prouver un fait ayant une portée juridique et tous les signes destinés à prouver un tel fait (<ref-law>).
4.2. L'autorité précédente a considéré que même si les versions des parties étaient contradictoires, les éléments avancés par la procureure permettaient de considérer que le contrat de travail qui avait été passé entre les parties était en réalité celui produit par les intimés, à savoir celui prévoyant une entrée en fonction au 1er novembre 2014 et un salaire mensuel initial de 5'000 fr. (arrêt attaqué, p. 12). Tout d'abord, elle a relevé que l'intimé 3 s'était expliqué de manière claire sur l'établissement de ce document et que ses propos étaient crédibles et permettaient d'expliquer les incohérences constatées. Au contraire, les explications du recourant étaient peu claires et celui-ci avait admis avoir, chaque mois depuis le mois de novembre 2014, et ce pendant un an, signé des quittances de salaire portant sur un montant de 5'000 fr. brut par mois. La cour cantonale a ensuite considéré que le comportement du recourant rendait sa version des faits peu crédible et a expliqué de manière détaillée quels éléments permettaient de retenir que le contrat de travail conclu entre les parties était en réalité celui produit par les intimés. A cet égard, elle a d'abord exposé qu'avant le dépôt de sa demande devant la juridiction du droit du travail, le recourant n'avait jamais mentionné le fait que son employeur ne lui avait pas payé l'entier de son salaire. Elle a en particulier relevé que l'intéressé n'avait pas réclamé les arriérés de salaire dans sa lettre de résiliation du 28 décembre 2016, se contentant d'indiquer que le travail ne lui convenait plus. En outre, dans son courrier du 10 février 2017, l'assurance protection juridique du recourant avait uniquement réclamé un montant de 1'223 fr. 05 relatif à un solde de salaire impayé pour le mois de janvier 2017, sans mentionner d'arriérés de salaires. De même, dans sa décision sur opposition du 21 avril 2017, la Caisse cantonale de chômage, qui avait au préalable interpellé le recourant sur les raisons de la fin des rapports de travail, n'avait pas non plus fait état d'une problématique au niveau salarial entre les parties. En outre, lorsqu'il travaillait pour les intimés, le recourant avait signé, chaque mois, de novembre 2014 à décembre 2015 des quittances de salaires portant sur 5'000 fr. brut par mois et il n'avait pas contesté son affiliation à la Caisse cantonale vaudoise de compensation AVS qui prévoyait de telles conditions. Enfin, la cour cantonale a relevé que les explications fournies par l'intimé 3 étaient corroborées par plusieurs éléments, dont le courrier de la Commune de E._ du 11 octobre 2018.
4.3. Le recourant reproche d'abord à la cour cantonale d'avoir considéré que les propos de l'intimé 3 étaient clairs et crédibles. Il lui fait grief d'avoir arbitrairement ignoré certaines contradictions de l'intimé 3, en particulier le fait que, dans ses écritures, celui-ci a prétendu que "l'unique contrat signé par les parties débutait le 1er novembre 2014 et le salaire s'élevait à CHF 5'000.- brut", alors qu'il a admis lors de son audition avoir d'abord préparé un contrat pour un salaire de 6'000 fr., " puis en avoir préparé un autre avec un salaire de 5'000 fr. et ne pas l'avoir fait signer " (mémoire de recours, p. 10).
4.3.1. Contrairement à ce que prétend le recourant, la cour cantonale n'a pas ignoré ces prétendues incohérences. Elle n'a en particulier pas omis le fait que l'intimé 3 avait déclaré avoir d'abord établi un premier contrat qui prévoyait un début d'activité du recourant au 1er octobre 2014 ainsi qu'un salaire de 6'000 francs. Il ressort ensuite des faits de l'arrêt attaqué qu'après s'être renseigné sur les motifs pour lesquels le recourant s'était fait licencier de son précédent travail, l'intimé 3 a décidé qu'il ne lui verserait que 5'000 fr. par mois et a précisé au recourant qu'il pourrait être augmenté par la suite, en fonction des prestations fournies (cf. arrêt attaqué, p. 4; PV d'audition du 27 septembre 2018, p. 2). Ainsi, contrairement à ce que semble penser le recourant, il apparaît que c'est dans ce sens que l'intimé 3 a déclaré qu'il avait été " prudent " suite à la conversation qu'il avait eue avec l'ancien employeur du recourant. En outre, et contrairement à ce que soutient le recourant, il ressort également de l'arrêt attaqué que l'intimé 3 a déclaré avoir seulement modifié la première page du contrat et que cette nouvelle version du contrat n'avait pas été signée dès lors que les signatures des parties figuraient déjà sur la deuxième page du projet précédent. Il s'ensuit que la cour cantonale n'a pas arbitrairement omis des éléments et pouvait sans arbitraire considérer que l'intimé 3 s'était expliqué de manière claire sur l'établissement du véritable contrat. Les griefs du recourant sont rejetés dans la mesure où ils sont recevables.
4.3.2. Ensuite, le recourant reproche à la cour cantonale d'avoir ignoré également la " contradiction avec la déclaration de [l'intimé 3] figurant dans le courrier que [celui-ci] a adressé à la protection juridique du recourant le 13 avril 2017, selon laquelle le changement de salaire a été fait à la demande du recourant " (mémoire de recours, p. 10). Contrairement à ce que laisse entendre le recourant, il ne ressort pas clairement du courrier du 13 avril 2017 quel " changement " aurait été fait à la demande du recourant (cf. pièce 4/3 du dossier cantonal). En tout état de cause, même à supposer que l'intimé 3 avait indiqué à l'assurance que le changement de salaire avait été fait à la demande du recourant, celui-ci ne démontre pas en quoi cet élément permettrait à lui seul de fonder des soupçons suffisants justifiant une mise en accusation de l'intimé 3 pour faux dans les titres. Le grief est rejeté dans la mesure où il est recevable.
4.4. Le recourant fait ensuite grief à la cour cantonale d'avoir arbitrairement considéré que son comportement au cours de la procédure rendait sa version des faits peu vraisemblable.
4.4.1. Le recourant reproche à la cour cantonale d'avoir fait abstraction d'un courrier de son assurance protection juridique du 2 mars 2017, dans lequel il était indiqué qu'il n'avait été payé que 5'000 fr. par mois durant l'année 2015 alors que le contrat prévoyait un salaire mensuel de 6'000 fr. (pièce 13 du dossier cantonal). Il n'explique cependant pas en quoi cette pièce serait susceptible d'influer sur le sort de la cause (<ref-law>). En effet, le seul fait que les arriérés de salaire soient évoqués dans un autre courrier n'explique pas pourquoi ils ne l'ont pas été dans la lettre de résiliation du recourant du 28 décembre 2016, ni dans la première lettre de l'assurance de protection juridique du recourant du 10 février 2017 à l'intimé 3. A cet égard, le recourant prétend qu'il a régulièrement réclamé la différence oralement à l'intimé 3 mais qu'il a pensé qu'il était " trop tard pour réclamer les arriérés de salaire " et que c'est son assurance de protection juridique qui l'a informé de son droit (mémoire de recours, p. 11). Ce faisant, le recourant présente sa propre version des événements, en introduisant divers éléments qui ne ressortent pas de l'état de fait de la cour cantonale, de sorte que son grief est irrecevable sous cet angle.
4.4.2. Le recourant reproche ensuite à la cour cantonale d'avoir considéré que le fait qu'il n'ait pas fait état de la problématique des arriérés de salaire à la Caisse cantonale de chômage discréditait sa version des faits. Contrairement à ce que prétend le recourant, le raisonnement de la cour cantonale n'est pas difficile à suivre. En effet, comme l'explique la cour cantonale dans l'arrêt attaqué, il est évident que si le recourant avait un contentieux avec son employeur sur la question salariale, et savait depuis le début des relations contractuelles que celui-ci ne lui versait pas le salaire de 6'000 fr. prétendument convenu, il n'aurait pas manqué de le faire savoir à la Caisse cantonale de chômage (arrêt attaqué, p. 13), ce qu'il n'a manifestement pas fait. Ce raisonnement est convaincant. Du reste, le recourant n'explique pas en quoi celui-ci serait arbitraire, mais se borne à reprocher à la cour cantonale d'avoir arbitrairement écarté une pièce importante du dossier, soit l'attestation de l'employeur envoyée par l'intimé 3 à l'assurance chômage. Il prétend que cette attestation mentionnerait un salaire de 6'000 fr. " pendant toute la durée des rapports de travail ", ce qui, selon lui, aurait dû amener la cour cantonale à constater que les explications de l'intimé 3 au sujet du salaire n'étaient " pas crédibles et non corroborées par les pièces du dossier" (mémoire de recours, p. 12).
Le recourant ne peut être suivi sur ce point. En effet, il ressort de la pièce litigieuse que l'intimé 3 a inscrit, sous la rubrique " Périodes d'emploi pendant les deux dernières années ", un salaire de 6'000 fr. " du 1.11.17 au 31.1.17 ". Dans la mesure où le recourant semble affirmer qu'il s'agit d'une erreur et que l'intimé 3 voulait indiquer le début du contrat en 2014, il présente sa propre interprétation de la pièce litigieuse sans démontrer que la cour cantonale se serait arbitrairement écartée d'un moyen de preuve clair. Son grief doit dès lors être rejeté dans la mesure où il est recevable.
4.4.3. C'est également en vain que le recourant soutient que les quittances de salaire portant sur 5'000 fr., qu'il a signées chaque mois, de novembre 2014 à décembre 2015, ne font que confirmer qu'il a " reçu une partie du salaire en cash " (mémoire de recours, p. 12). En effet, la cour cantonale pouvait sans arbitraire considérer que le fait que le recourant avait admis avoir, chaque mois depuis le mois de novembre 2014 et pendant un an, signé des quittances de salaire portant sur un montant de 5'000 fr. brut, constituait également un indice que le contrat conclu entre les parties était en réalité celui présenté par les intimés prévoyant un salaire mensuel initial de 5'000 francs. Cela vaut d'autant plus qu'à compter du mois de janvier 2016, les quittances de salaire signées par le recourant font état d'un salaire de 6'000 fr., conformément à ce que l'intimé 3 a déclaré avoir dit au recourant concernant une possible augmentation de salaire après environ une année en fonction. Le grief du recourant est rejeté dans la mesure où il est recevable.
4.4.4. Le recourant reproche enfin à la cour cantonale d'avoir considéré que le courrier de la Commune de E._ du 11 octobre 2018 au sujet de son précédent emploi confirmait les propos de l'intimé 3. Ce faisant, il oppose sa propre appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci serait arbitraire.
Compte tenu des déclarations crédibles de l'intimé 3 et du comportement du recourant, tel qu'il a été établi sans arbitraire par la cour cantonale sur la base d'un ensemble d'éléments, l'instance précédente a considéré à juste titre qu'il pouvait être exclu avec un haut degré de vraisemblance que les intimés aient produit un faux contrat de travail dans le cadre de la procédure devant le tribunal des prud'hommes.
4.5. Il n'apparaît ainsi pas, en définitive, qu'une condamnation des intimés pour faux dans les titres pouvait être considérée comme aussi probable, voire plus probable, qu'un acquittement. La cour cantonale pouvait en conséquence sans violer le droit fédéral confirmer le classement de la procédure sur ce point.
5.
Le recourant reproche ensuite à l'instance précédente d'avoir confirmé le classement de la procédure s'agissant de l'infraction de dénonciation calomnieuse.
5.1. L'<ref-law> réprime le comportement de celui qui aura dénoncé à l'autorité, comme auteur d'un crime ou d'un délit, une personne qu'il savait innocente, en vue de faire ouvrir contre elle une poursuite pénale.
Est notamment considéré comme "innocent" celui qui a été libéré par un jugement d'acquittement ou par le prononcé d'un classement. Le juge de la dénonciation calomnieuse est lié par une telle décision (<ref-ruling> consid. 2.1 p. 176). L'élément constitutif subjectif de l'infraction exige l'intention et la connaissance de la fausseté de l'accusation. Par conséquent, il ne suffit pas que l'auteur ait conscience que ses allégations pourraient être fausses. Il doit savoir que son accusation est inexacte. Le dol éventuel ne suffit donc pas (<ref-ruling> consid. 2.1 p. 176 s.; arrêt 6B_1188/2017 du 5 juin 2018 consid. 2.2.1)
5.2. La cour cantonale a considéré que l'infraction de dénonciation calomnieuse était intimement liée à celle de faux dans les titres. Ainsi, dans la mesure où il n'existait pas de soupçon suffisant permettant d'établir que les intimés auraient commis un faux dans les titres, il y avait lieu d'admettre que les accusations des intimés n'étaient pas d'emblée infondées (cf. arrêt attaqué, p. 15). Le recourant, qui se contente de soutenir que le sort de l'infraction de dénonciation calomnieuse doit suivre celui du faux dans les titres, n'expose pas en quoi le raisonnement tenu par la cour cantonale violerait le droit fédéral (<ref-law>).
6.
Le recourant reproche enfin à la cour cantonale d'avoir confirmé le classement de la procédure s'agissant de l'infraction d'abus de confiance.
6.1. Commet un abus de confiance au sens de l'<ref-law>, celui qui, sans droit, aura employé à son profit ou au profit d'un tiers des valeurs patrimoniales qui lui avaient été confiées.
Sur le plan objectif, l'infraction suppose qu'une valeur ait été confiée, autrement dit que l'auteur ait acquis la possibilité d'en disposer, mais que, conformément à un accord (exprès ou tacite) ou un autre rapport juridique, il ne puisse en faire qu'un usage déterminé, en d'autres termes, qu'il l'ait reçue à charge pour lui d'en disposer au gré d'un tiers, notamment de la conserver, de la gérer ou de la remettre (<ref-ruling> consid. 6.2 p. 27). Le comportement délictueux consiste à utiliser la valeur patrimoniale contrairement aux instructions reçues, en s'écartant de la destination fixée (<ref-ruling> consid. 2.2.1 p. 259). L'alinéa 2 de l'<ref-law> ne protège pas la propriété, mais le droit de celui qui a confié la valeur à ce que celle-ci soit utilisée dans le but qu'il a assigné et conformément aux instructions qu'il a données; est ainsi caractéristique de l'abus de confiance au sens de cette disposition le comportement par lequel l'auteur démontre clairement sa volonté de ne pas respecter les droits de celui qui lui fait confiance (<ref-ruling> consid. 2.2.1 p. 259; <ref-ruling> consid. 1c p. 25; arrêt 6B_972/2018 du 20 novembre 2018 consid. 2.1).
Du point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime, lequel peut être réalisé par dol éventuel (<ref-ruling> consid. 2a p. 34; arrêt 6B_717/2018 du 10 septembre 2018 consid. 5.1). Celui qui dispose à son profit ou au profit d'un tiers d'un bien qui lui a été confié et qu'il s'est engagé à tenir en tout temps à disposition de l'ayant-droit s'enrichit illégitimement s'il n'a pas la volonté et la capacité de le restituer immédiatement en tout temps. Celui qui ne s'est engagé à tenir le bien confié à disposition de l'ayant droit qu'à un moment déterminé ou à l'échéance d'un délai déterminé ne s'enrichit illégitimement que s'il n'a pas la volonté et la capacité de le restituer à ce moment précis (<ref-ruling> consid. 3a p. 29 s.). Le dessein d'enrichissement illégitime fait en revanche défaut si, au moment de l'emploi illicite de la valeur patrimoniale, l'auteur en paie la contre-valeur, s'il avait à tout moment ou, le cas échéant, à la date convenue à cet effet, la volonté et la possibilité de le faire ("Ersatzbereitschaft"; <ref-ruling> consid. 2a p. 34) ou encore s'il était en droit de compenser (<ref-ruling> consid. 3a p. 34 s.).
6.2. La cour cantonale a constaté que l'intimé 3 avait effectivement perçu de D._ SA la somme de 4'419 fr., correspondant à des indemnités journalières perte de gain pour le recourant pour la période comprise entre le 1er et le 28 février 2017. Elle a cependant relevé qu'à ce stade, il n'était aucunement établi que le montant litigieux devait revenir au recourant, comme celui-ci le prétendait. L'intimé 3, quant à lui, considérait que ce montant devait être reversé à D._ SA en se fondant sur plusieurs pièces dont une lettre du 24 août 2017, dans laquelle celle-ci avait requis de l'intimé 3 la rétrocession à elle-même de la somme concernée. La cour cantonale a laissé ouverte la question de savoir à qui les prestations d'assurance devaient revenir ainsi que celle de la réalisation des conditions objectives de l'infraction d'abus de confiance, dès lors qu'elle a jugé que les conditions subjectives de cette infraction faisaient défaut. En se fondant sur divers courriers des intimés et de D._ SA et compte tenu de la situation financière favorable des intimés, la cour cantonale a conclu que ceux-ci avaient et auraient à tout moment la volonté et la capacité de restituer la somme litigieuse à qui de droit, notamment à l'issue de la procédure prud'homale, de sorte que le dessein d'enrichissement illégitime faisait défaut.
6.3. Le recourant reproche à la cour cantonale d'avoir retenu que le dessein d'enrichissement illégitime faisait défaut. En réalité, il développe une argumentation largement appellatoire, par laquelle il livre sa propre lecture des courriers litigieux, sans démontrer dans quelle mesure la cour cantonale se serait écartée de moyens de preuve clairs ou aurait tenu arbitrairement un fait comme clairement établi.
En particulier, le recourant ne peut être suivi lorsqu'il soutient que dans tous les courriers que l'intimé 3 a adressés à D._ SA, celui-ci expliquerait clairement qu'il estime que la somme litigieuse lui revient et qu'il n'a aucune intention de la restituer ni au recourant, ni à l'assurance. En effet, s'il est vrai que, comme le relève la cour cantonale, dans son premier courrier, l'intimé 3 a d'abord cru que les prestations pour un montant de 4'419 fr. concernaient le mois de janvier 2017 et lui étaient dues car il avait payé le salaire de ce mois au recourant (cf. courrier du 24 juillet 2017; pièce 13/3 du dossier cantonal), il a ensuite tenté d'obtenir des explications de la part de D._ SA (courrier du 25 septembre 2017; pièce 21/2 du dossier cantonal). Ainsi, contrairement à ce que prétend le recourant, il ressort par la suite des autres courriers et déclarations que les intimés ont admis, notamment dans leur courrier du 12 décembre 2018, que les indemnités n'auraient pas dû leur être versées dès lors que le recourant n'était plus leur employé au mois de février 2017, mais qu'ils n'avaient aucun droit de les transmettre à leur ancien employé (cf. pièce 24/1 du dossier cantonal). En outre, dans leur courrier du 7 décembre 2018, ils ont précisé qu'ils reverseraient la somme due à qui de droit, dès qu'un jugement serait devenu exécutoire (cf. pièce 21/1 du dossier cantonal). Dans ces circonstances, la cour cantonale pouvait retenir que le dessein d'enrichissement illégitime faisait défaut.
6.4. Au vu de ce qui précède, la cour cantonale n'a pas donc pas violé le droit fédéral en jugeant que les conditions subjectives de l'infraction d'abus de confiance n'étaient pas remplies et en confirmant le classement sur ce point (<ref-law>).
7.
Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Les intimés, qui n'ont pas été invités à se déterminer, ne sauraient prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 3 novembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann