Faits : A. Le 22 janvier 2018, A._ a déposé une demande devant le Tribunal de prud'hommes de l'arrondissement de La Côte à l'encontre de B._ et C._. Dans sa demande, il a notamment exposé qu'il était entré au service de ces derniers en qualité d'employé de maison à compter du mois de juin 2014 et qu'à partir du 1er octobre 2014, les parties avaient signé un contrat de travail " définitif ", daté du 30 septembre 2014, prévoyant qu'il travaillait dorénavant à plein temps pour les intéressés pour un salaire mensuel de 6'000 fr. par mois. Il a en outre fait valoir qu'en raison d'un désaccord sur quelques points, notamment le salaire, les clauses litigieuses avaient été modifiées par les employeurs et que le contrat avait au préalable fait l'objet de deux projets. A._ a précisé que les clauses litigieuses figuraient sur la première page du contrat, de sorte que seule celle-ci avait été modifiée dans les différents projets. Enfin, il a indiqué qu'entre les mois d'octobre 2014 et de décembre 2015, il avait reçu un salaire mensuel de 5'000 fr. seulement, alors que le contrat prévoyait un salaire de 6'000 francs. A l'appui de sa demande, il a produit les trois contrats précités, des décomptes de réception de salaire pour les mois de novembre 2014 à décembre 2015 portant sur un salaire de 5'000 fr. et des décomptes concernant les mois de janvier 2016 et suivants portant sur un salaire de 6'000 fr., ainsi que sa lettre de résiliation, datée du 28 décembre 2016, dans laquelle il a notamment écrit que le travail ne lui convenait plus. A.a. Le 13 avril 2018, B._ et C._ ont déposé plainte pénale contre A._ pour faux dans les titres. Dans leur plainte, ils ont exposé que A._ avait, dans le cadre de la procédure ouverte par celui-ci devant le tribunal de prud'hommes, produit un contrat de travail qui n'était pas celui-ci signé par les parties, qu'il avait en effet, selon eux, compilé la première page d'un projet de contrat avec la deuxième page du contrat effectivement signé par les parties et qu'il se servait de ce document, qu'il avait donc créé, afin de faire valoir des prétentions indues, à savoir un différentiel de salaire de 1'000 fr. par mois pendant quinze mois, soit une somme de 15'000 francs. A l'appui de leur plainte, B._ et C._ ont notamment produit, selon eux, le véritable contrat de travail conclu entre les parties, prévoyant un début d'activité de leur employé au 1er novembre 2014 et un salaire mensuel de 5'000 fr., une lettre datée du 10 février 2017 provenant de la compagnie de protection juridique de A._, un courrier daté du 28 novembre 2014 adressé par C._ à la Caisse cantonale vaudoise de compensation AVS afin d'affilier leur employé, dans lequel il est fait état d'une entrée en fonction au 1er novembre 2014 et d'un salaire mensuel de 5'000 fr., ainsi qu'une attestation de l'employeur de l'assurance-chômage, dans laquelle C._ a également fait mention d'une entrée en fonction de A._ au 1er novembre 2014. Le 17 avril 2018, le Ministère public de l'arrondissement de La Côte a ouvert une instruction pénale contre A._ pour escroquerie et faux dans les titres. A.b. Le 14 mai 2018, A._ a à son tour déposé plainte contre B._ et C._ pour calomnie, faux dans les titres, dénonciation calomnieuse et induction de la justice en erreur. Dans sa plainte, il reprochait aux prénommés, d'une part, d'avoir porté de fausses accusations à son égard dans leur plainte du 13 avril 2018, le faisant notamment apparaître comme une personne méprisable, et, d'autre part, d'avoir produit un faux contrat de travail dans la procédure prud'homale pour se soustraire à leurs obligations légales et financières. Le 31 mai 2018, le ministère public a décidé de l'ouverture d'une instruction pénale contre B._ et C._ pour faux dans les titres et dénonciation calomnieuse. A.c. Le 14 novembre 2018, A._ a déposé une nouvelle plainte contre B._ et C._ pour abus de confiance. Il leur reprochait d'avoir reçu, le 5 mai 2017, de la part de D._ SA, un montant de 4'419 fr. correspondant à des indemnités journalières perte de gain le concernant pour la période comprise entre le 1er et le 28 février 2017, alors que ce montant aurait, selon lui, dû lui être reversé. A.d. Par ordonnance du 19 novembre 2019, le ministère public a prononcé le classement de la procédure pénale dirigée contre B._ et C._ pour abus de confiance, faux dans les titres et dénonciation calomnieuse. B. Par arrêt du 11 mars 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours déposé par A._ à l'encontre de l'ordonnance de classement du 19 novembre 2019, qu'elle a confirmée. C. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt précité. Il conclut, avec suite de frais et dépens, principalement, à la réforme de l'arrêt attaqué en ce sens que l'ordonnance de classement du 19 novembre 2019 est annulée et que C._ et B._ sont mis en accusation pour abus de confiance, faux dans les titres et dénonciation calomnieuse. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'instance précédente pour nouvelle décision.