Faits :
A.
Par jugement du 13 novembre 2019, le Tribunal de police de l'arrondissement de La Broye et du Nord vaudois (ci-après : le tribunal de police) a libéré B._ des chefs de prévention de lésions corporelles graves par négligence, subsidiairement lésions corporelles simples par négligence, a renvoyé A._ à agir par la voie civile, a rejeté la conclusion de A._ tendant à l'allocation d'une indemnité au sens de l'<ref-law>, a alloué à B._ une indemnité d'un montant de 2000 fr. pour ses frais de défense, à la charge de l'État, et a laissé les frais de la cause à la charge de celui-ci.
B.
Statuant sur l'appel interjeté par A._ contre le jugement précité, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud l'a rejeté par jugement du 25 mai 2020.
En bref, il en ressort les éléments suivants.
B._ a été renvoyé devant le tribunal de police à la suite de l'opposition qu'il a formée contre l'ordonnance pénale rendue le 18 juin 2019 par le Ministère public de l'arrondissement du Nord vaudois. Tenant lieu d'acte d'accusation, il en ressort que le 14 octobre 2018, vers 17h, sur la route U._ à V._, A._, qui circulait au guidon de sa moto, à une vitesse d'environ 80 km/h, a soudainement perdu la maîtrise de son véhicule après avoir glissé sur des excréments de vaches et de la boue qui se trouvaient au sol et en travers de la chaussée, peu avant la courbe à droite qu'il entendait enfiler. A._ a ensuite chuté lourdement sur son côté droit, avant de glisser sur quelques mètres puis de s'immobiliser sur la chaussée. Les matières précitées se sont retrouvées à cet endroit dès lors que les proches de B._ (ce dernier étant l'exploitant de la ferme située à proximité) avaient fait en sorte de rentrer les bêtes depuis le champ situé en face de la ferme. Avant cela, l'un d'eux, conformément à la pratique usuellement adoptée par B._, avait apposé, sur le côté droit de la route dans le sens V._ - W._ (soit le sens opposé à celui d'où venait A._), un signal " Animaux " comprenant une image de bovin. Aucun signal du même genre n'avait en revanche été placé en sens inverse. Le danger provoqué par les souillures sur le revêtement n'était pas davantage indiqué. A._ a souffert de plusieurs fractures au niveau du tibia de la jambe droite. Il a déposé plainte et s'est constitué partie civile en date du 6 novembre 2018.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 25 mai 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que B._ est condamné pour lésions corporelles graves par négligence, subsidiairement lésions corporelles simples par négligence, qu'il est reconnu, sur le plan civil, responsable envers A._ des conséquences de l'accident dont celui-ci a été victime le 14 octobre 2018, A._ étant au surplus renvoyé à agir par la voie civile et qu'une indemnité au sens de l'<ref-law> au montant chiffré en première instance lui est allouée. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité de première instance, subsidiairement à l'autorité de deuxième instance.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4).
En cas d'acquittement du prévenu, la qualité pour recourir de la partie plaignante implique qu'elle ait fait valoir dans la procédure pénale, autant que cela pouvait raisonnablement être exigé d'elle, des prétentions civiles découlant de l'infraction (<ref-ruling> consid. 1.3.1 p. 247 s.), étant rappelé que les prétentions civiles peuvent être élevées au plus tard lors des plaidoiries devant le tribunal de première instance (<ref-law>; arrêt 6B_769/2019 du 25 octobre 2019 consid. 3.1). Si la partie plaignante n'est pas à même de le faire, notamment parce que son dommage n'est pas encore ou pas entièrement établi, elle doit indiquer quelles sortes de prétentions civiles elle entend faire valoir et demander qu'elles lui soient allouées dans leur principe (arrêts 6B_769/2019 précité consid. 3.1; 6B_1073/2018 du 23 août 2019 consid. 4.1.1; 6B_928/2018 du 26 mars 2019 consid. 1.1). Le jugement rendu sur le principe de la responsabilité civile constitue d'ailleurs une décision finale au sens de l'<ref-law> (<ref-ruling> consid. 1.3 in fine). La partie plaignante ne saurait en tous les cas se limiter à demander la réserve de ses prétentions civiles ou, en d'autres termes, à signaler simplement qu'elle pourrait les faire valoir ultérieurement, dans une autre procédure. Ce faisant, elle ne prend pas de conclusions civiles sur le fond (<ref-ruling> consid. 1b p. 188).
1.2. En l'espèce, le recourant indique avoir conclu en première instance et en appel à ce que le principe des conclusions civiles dirigées contre l'intimé soit admis. Les conclusions civiles seraient directement mises en péril par l'acquittement prononcé. Son cas ne serait pas stabilisé sur le plan médical, ce que les pièces qu'il produit devant le Tribunal fédéral seraient à même d'établir, ce qui l'empêcherait de prendre des conclusions civiles chiffrées.
Les affirmations précitées du recourant ne correspondent pas avec les conclusions qu'il a effectivement prises en instance cantonale. Le recourant a conclu, devant les instances cantonales, de même d'ailleurs que devant le Tribunal fédéral, à la reconnaissance de la responsabilité de l'intimé s'agissant de l'accident dont il a été victime. Il s'agit d'une conclusion en constatation de droit qui n'est recevable que lorsque des conclusions condamnatoires ou formatrices sont exclues (cf. parmi d'autres : arrêts 1B_284/2021 du 28 juillet 2021 consid. 2.2.5; 1B_272/2021 du 29 juin 2021 consid. 1; 1B_188/2021 du 18 mai 2021 consid. 2.1.4). Contrairement à ce qu'affirme le recourant, ses conclusions prises en instance cantonale n'équivalent pas à une conclusion condamnatoire tendant à l'admission, dans leur principe des prétentions civiles découlant de la responsabilité civile de l'intimé, conclusion qu'il aurait dû formuler conformément à la jurisprudence (supra consid. 1.1). Dans la mesure où le recourant aurait pu conclure à l'admission dans leur principe de ses prétentions civiles, sa conclusion en constatation est irrecevable. Il en découle que faute pour le recourant d'avoir pris une conclusion civile recevable en instance cantonale, il ne dispose pas de la qualité pour recourir sur le fond au sens de l'art. 81 al. 1 let. b ch. 5 LTF.
A noter qu'il ne ressort pas du jugement attaqué, ni de celui de première instance, que le recourant aurait exposé en quoi consistaient ses prétentions. Même en supposant un éventuel dommage évolutif, on ne voit pas véritablement pourquoi le recourant aurait été incapable d'émettre et de chiffrer des conclusions en réparation du tort moral qui constitue une prétention indépendante. C'est également en vain que le recourant produit devant le Tribunal fédéral divers rapports et certificats médicaux, ces pièces nouvelles étant irrecevables (<ref-law>).
Pour le surplus, les prétentions émises par le recourant concernant le remboursement de ses dépenses dans la procédure de première instance, fondées sur l'<ref-law>, ne constituent pas des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF (cf. arrêts 6B_1181/2021 du 8 novembre 2021 consid. 2.2; 6B_114/2018 du 31 juillet 2018 consid. 1.2).
Compte tenu de ce qui précède, le recourant n'a pas qualité pour recourir sur le fond au sens de l'art. 81 al. 1 let. b ch. 5 LTF. Le recours est à cet égard irrecevable.
1.3. L'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas en considération, le recourant ne soulevant aucun grief quant à son droit de porter plainte. Par ailleurs, il ne dénonce aucune violation de ses droits de partie équivalant à un déni de justice formel, ce qui ne lui permettrait d'ailleurs pas de faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (cf. <ref-ruling> consid. 1.1 p. 5).
2.
Au vu de ce qui précède, le recours doit être déclaré irrecevable. Le recourant, qui succombe, supporte les frais judiciaires (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 janvier 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Denys
La Greffière : Livet