Faits :
A.
Par jugement du 27 septembre 2019, le Tribunal de police de l'arrondissement de La Côte a condamné B._ pour abus de confiance à une peine pécuniaire de 90 jours-amende à 30 fr. le jour avec sursis pendant cinq ans, ainsi qu'à une amende de 675 francs. Il a en outre renoncé à révoquer le sursis qui lui avait été précédemment octroyé et l'a condamné à verser à A._ la somme de 27'044 fr. 50 à titre de dommages-intérêts.
B.
Par jugement du 26 février 2020, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis l'appel formé par B._ et l'a libéré de l'accusation d'abus de confiance. Elle a renvoyé A._ à agir par la voie civile.
En résumé, il en ressort les faits suivants:
B.a. B._, né en 1989, et son épouse ont deux enfants mineurs. Après avoir travaillé comme chauffeur-livreur pour l'entreprise de transports de son oncle, A._, d'octobre 2015 à septembre 2016, il s'est retrouvé, à compter de septembre 2016, en arrêt de travail pour cause d'accident. Il a bénéficié d'indemnités journalières d'assurance jusqu'à l'expiration de ses droits. La famille est entièrement à la charge de l'Hospice général du canton de Genève depuis le 1er juin 2018. Une demande a été déposée auprès de l'assurance-invalidité.
B.b. Le 22 juin 2017, A._ a déposé plainte pénale contre B._ pour abus de confiance. Il lui reprochait de ne pas lui avoir, entre le 5 novembre 2015 et le 13 septembre 2016, alors qu'il était employé en qualité de chauffeur au sein de son entreprise, C._, remis l'intégralité des sommes versées en espèces par les clients lors des livraisons et d'avoir ainsi conservé sans droit et pour son propre profit lesdites valeurs patrimoniales. A l'appui de ses griefs, il a produit des fiches de transport qui auraient, selon lui, été remplies et signées - ou paraphées - par B._, qui comportent la somme encaissée du client, ainsi que des fiches de caisse signées par les parties, attestant selon lui des montants que B._ lui a remis.
B._ conteste ces accusations, soit d'avoir conservé pour son compte les montants encaissés auprès des clients de l'entreprise de A._. Il reconnaît que les signatures apparaissant dans le journal des entrées de caisse sont toutes de sa main mais conteste avoir rédigé et signé les fiches de transports figurant au dossier, soutenant que A._ aurait créé lui-même de fausses fiches de transport dans le but de lui opposer une créance fictive aux prétentions qu'il a fait valoir contre lui dans le cadre d'une procédure introduite devant la juridiction du travail.
Par ordonnance pénale du 19 février 2019 valant acte d'accusation, B._ a été renvoyé en jugement.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 26 février 2020. Il conclut, avec suite de frais et dépens, principalement à son annulation et à ce que B._ soit reconnu coupable d'abus de confiance et condamné à lui verser le montant de 25'732 fr. 50 à titre de dommages et intérêts. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 59).
1.1. Selon l'<ref-law>, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (let. b). Un tel intérêt juridique est reconnu à la partie plaignante qui a participé à la procédure de dernière instance cantonale, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles (art. 81 al. 1 let. b ch. 5 LTF). Selon la jurisprudence, la partie plaignante n'est habilitée à recourir contre un jugement prononçant l'acquittement du prévenu que si elle a, autant que cela pouvait raisonnablement être exigé d'elle, exercé l'action civile, en prenant des conclusions chiffrées en réparation de tout ou partie de son dommage matériel ou de son tort moral (<ref-ruling> consid. 1.3.1 p. 248; arrêt 6B_332/2020 du 9 juin 2020 consid. 1.1).
1.2. En l'espèce, le recourant a participé à la procédure cantonale en tant que partie plaignante et a pris des conclusions civiles, qu'il a chiffrées à 27'044 fr. 50. Allouées par le tribunal de première instance qui a condamné l'intimé pour abus de confiance, ces conclusions ont été rejetées par la cour cantonale qui a renvoyé le recourant à agir devant le juge civil en raison de l'acquittement de l'intimé qu'elle a prononcé. Dans ces conditions, le recourant dispose d'un intérêt juridique à recourir contre le jugement d'acquittement de la cour cantonale. Il a ainsi la qualité pour recourir.
2.
Le recourant se plaint d'arbitraire dans l'appréciation des preuves. Invoquant une violation de l'<ref-law>, il reproche également à la cour cantonale d'avoir retenu qu'il existait des doutes insurmontables quant à la culpabilité de l'intimé.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 1.1 p. 503). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 2.4 p. 368 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348 s.; <ref-ruling> consid. 2a p. 40 s.). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3 p. 351 s.), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
2.2. Le recourant reproche à la cour cantonale d'avoir arbitrairement écarté l'ensemble des éléments - en particulier les indices considérés par le tribunal de première instance - permettant d'arriver à la conclusion que l'intimé a bien signé les fiches de transport litigieuses.
2.2.1. La cour cantonale a considéré que les cinq indices invoqués par le tribunal de première instance n'étaient pas convaincants et n'étaient pas suffisants pour fonder une conviction de la culpabilité de l'intimé. Elle a ainsi relevé, en substance, que ni le fait que l'intimé travaillait avec d'importantes sommes d'argent - comme c'est le cas dans de nombreux métiers - ni le fait qu'il avait des difficultés financières ne constituaient des indices de sa culpabilité. En outre, le fait que l'expertise privée produite par l'intimé, destinée à établir l'existence de faux, ne soit pas probante ne signifiait pas encore que l'intimé avait menti et qu'il aurait signé les fiches de transport litigieuses. Il en allait de même du fait que le recourant serait négligent dans ses contrôles et dans le cadre de la comptabilité. Enfin, elle a considéré que les suppositions du tribunal de première instance sur le fait qu'il ne serait pas envisageable que le recourant ait produit de faux documents ne constituaient pas en soi des moyens de preuves.
2.2.2. Les développements du recourant s'épuisent principalement en une rediscussion de chacun de ces éléments, auxquels il oppose sa propre appréciation, sans démontrer en quoi celle de l'autorité précédente serait arbitraire. Une telle démarche, essentiellement appellatoire, ne répond pas aux exigences de motivation déduites de l'<ref-law>. Il en va en particulier ainsi lorsqu'il affirme que l'intimé est bien le signataire des fiches de transports, en se référant notamment à l'appréciation du ministère public et à celle du tribunal de première instance. Il en va de même lorsqu'il soutient que "du fait que l'expertise privée n'a aucune valeur probante, la seule conclusion qui s'impose est que [l'intimé] est bien le signataire des fiches de transport litigieuses" (mémoire de recours, p. 8). A cet égard, on ne voit d'ailleurs pas en quoi le fait que l'expertise privée - qui conclut que l'intimé ne semble pas être l'auteur des paraphes figurant sur les fiches de transport - ait une faible valeur probante démontrerait que celui-ci a signé lesdites fiches.
Pour le surplus, en tant que le recourant critique la méthodologie de l'expertise ou soutient que le manque d'homogénéité des paraphes examinés, que celle-ci relève, s'expliquerait par le fait que l'intimé aurait modifié sa " signature " parce qu'il savait " que les fiches de transport pourraient être utilisées à son encontre " (mémoire de recours, p. 9), il présente, de manière appellatoire, sa propre appréciation des preuves et sa propre version des faits, en se fondant sur des éléments qui ne ressortent pas de la décision attaquée, sans démontrer l'arbitraire de leur omission, de sorte que ses griefs sont irrecevables.
2.2.3. Le recourant reproche également à la cour cantonale d'avoir retenu de manière arbitraire qu'on ne pouvait pas écarter la thèse selon laquelle il aurait falsifié les fiches de transport pour pouvoir s'en prévaloir dans le cadre de la procédure prud'homale opposant les parties. Il ne démontre cependant pas en quoi l'appréciation de l'instance précédente serait arbitraire, se contentant de répéter - de manière appellatoire - qu'il est " impensable " d'admettre qu'il aurait créé de toutes pièces 726 fiches de transport et ainsi inventé 726 fausses signatures de ses clients et de relever qu'il n'avait pas intérêt à le faire et qu'il n'a aucun antécédent judiciaire. Au demeurant, le fait que la cour cantonale ait ou non retenu que la thèse de l'intimé relative à la falsification ne pouvait pas être écartée ne change rien au fait qu'elle a conclu, sans que l'arbitraire ne soit démontré, que les éléments avancés par le tribunal de première instance ne permettaient pas de conclure que l'intimé avait signé les fiches de transport. Le grief du recourant est dès lors rejeté dans la mesure où il est recevable.
2.3. Le recourant fait ensuite grief à la cour cantonale d'avoir retenu qu'il était impossible d'établir les circonstances exactes de cette affaire et que dès lors le principe de la présomption d'innocence devait l'emporter.
2.3.1. Après avoir examiné les pièces du dossier - à défaut de témoignages ou autres preuves -, la cour cantonale a retenu que celles-ci ne permettaient pas, à elles seules, de départager les versions des parties et d'établir que l'intimé avait commis les faits qui lui étaient reprochés. Elle a considéré que ces éléments de preuve, qui étaient souvent confus, peu lisibles, voire incompréhensibles, ne revêtaient aucune force probante. Elle a également souligné que l'enquête n'avait pas tenté de comparer les bons litigieux avec les fiches qui auraient été hypothétiquement conservées par les clients et que le recourant aurait pu les falsifier sans risque du côté de ses clients, qui n'en auraient pas été informés. Enfin, elle a notamment relevé qu'il était difficile d'imaginer qu'en recevant des fiches de transport, le recourant n'avait pas contrôlé que l'argent qu'il recevait correspondait à ce qu'il devait recevoir. Par ailleurs, si le recourant était aussi négligent qu'il le prétendait, on ne pouvait pas exclure des erreurs de sa part dans le cadre de la gestion de son entreprise ou dans la tenue de sa comptabilité. Elle a dès lors conclu que, compte tenu des moyens de preuve au dossier et des éléments susmentionnés, il était impossible d'établir les circonstances exactes de cette affaire.
2.3.2. S'agissant des pièces du dossier, la cour cantonale a relevé à juste titre que les tableaux produits à l'appui de la plainte du recourant et censés retracer les montants reçus des clients et les montants transmis à l'employeur (cf. pièce 5/2 du dossier cantonal) ne contenaient pas de dates exactes pour chaque opération, qu'ils ne comportaient aucune signature et qu'ils semblaient intégrer également le salaire de l'intimé et les avances versées à celui-ci. Elle pouvait dès lors, sans arbitraire, conclure qu'il était difficile d'en tirer des conclusions objectives, le recourant se contentant, pour sa part, d'affirmer, de manière appellatoire, que ces tableaux " font état des fiches de transport " et qu' " il sied de prendre en considération qu'[ils] correspond[ent] aux premiers documents [qu'il a] établis " (mémoire de recours, p. 13).
2.3.3. En ce qui concerne le second décompte établi par le recourant, la cour cantonale a relevé que, s'il existait une certaine correspondance entre les fiches de transport et ce décompte, cela ne permettait pas encore de démontrer que l'intimé avait conservé à son profit les sommes qui lui étaient reprochées. En outre, ledit décompte contenait quelques incohérences et les calculs du recourant variaient au fil de la procédure, celui-ci semblant " incapable de déterminer quel montant lui serait dû, et pour quel motif " (jugement attaqué, p. 19).
Le recourant commence par énumérer un certain nombre d'erreurs de calcul qui se seraient immiscées dans son décompte. Il ne démontre cependant pas en quoi ces éléments, qui ne ressortent pas du jugement attaqué, auraient une incidence sur la question de savoir si l'intimé a conservé les montants en question. Pour le surplus, il se limite essentiellement à présenter sa propre appréciation de la pièce en question, en soutenant notamment que celle-ci ne contient pas d'incohérences, sans démontrer en quoi l'appréciation de la cour cantonale serait arbitraire. Enfin, le recourant qualifie le raisonnement de la cour cantonale de " contradictoire " dans la mesure où elle reconnaît une certaine correspondance entre les fiches de transport et le deuxième décompte qu'il a établi mais considère que ces éléments n'ont aucune force probante. Cette argumentation ne saurait être suivie. En effet, le fait qu'il y ait une certaine correspondance entre ces documents ne signifie pas que l'intimé a signé lesdites fiches de transport, ni qu'il a conservé à son profit les montants litigieux. Son grief doit être rejeté dans la mesure où il est recevable.
2.3.4. S'agissant enfin du journal des entrées de caisse attestant les montants remis par l'intimé au recourant (cf. pièce 7/2/13 du dossier cantonal), la cour cantonale a considéré que ce document, qui contenait la signature complète de l'intimé qui avait admis en être l'auteur, était peu lisible et qu'il était difficile d'en tirer des conclusions objectives.
Le recourant soutient que le raisonnement de l'autorité précédente ne serait " pas cohérent " dès lors qu'elle a admis que les montants et les dates figurant dans le livre de caisse semblaient correspondre avec ceux figurant sur le deuxième décompte établi par le recourant. Ce raisonnement ne saurait être suivi. En effet, le fait qu'il semble y avoir une correspondance entre les montants figurant dans le livre de caisse et ceux figurant sur le deuxième décompte établi par le recourant confirme tout au plus les montants remis par l'intimé mais ne démontre pas encore que l'intimé aurait conservé une partie des sommes reçues. Le grief du recourant est rejeté dans la mesure où il est recevable.
2.4. En définitive, le recourant échoue à démontrer en quoi la cour cantonale aurait versé dans l'arbitraire ou violé le droit fédéral en jugeant qu'il était impossible d'établir les circonstances exactes de l'affaire et en acquittant l'intimé au bénéfice du doute.
3.
Invoquant l'<ref-law>, le recourant soutient que l'intimé s'est rendu coupable de l'infraction d'abus de confiance. Dans la mesure où son grief présuppose l'admission de celui en lien avec un établissement arbitraire des faits quant au fait que l'intimé aurait gardé une partie de l'argent qu'il a reçu de la part des clients, il est sans objet.
4.
Compte tenu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). L'intimé, qui n'a pas été invité à se déterminer, ne saurait prétendre à des dépens et cela rend sans objet ses requêtes d'assistance judiciaire présentées dans son courrier du 25 mai 2020.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 novembre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann