Faits:
A.
Par ordonnance du 24 juillet 2013, le Ministère public de l'arrondissement du Nord vaudois a ordonné le classement de la procédure pénale dirigée contre B._ pour contravention à la LCR. Il a estimé que les infractions que pourrait avoir commises B._ n'étaient constitutives que de contraventions et que celles-ci étaient prescrites.
B.
Par jugement du 15 octobre 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a déclaré le recours formé par A._ irrecevable.
En substance, il en ressort les éléments suivants.
Le 25 septembre 2009, B._, qui se rendait à pied chez un ami depuis la gare, a débouché d'un chemin privé sur une artère principale sur laquelle il se serait engagé immédiatement après le passage d'un véhicule arrivant à sa gauche, au mépris des règles élémentaires de prudence. Alors que l'endroit est dépourvu de passage pour piétons, il n'aurait pas accordé la priorité à l'automobile conduite par A._ arrivant à sa droite. Ce dernier, qui aurait été sous l'influence de l'alcool et qui aurait circulé à une vitesse supérieure à celle autorisée, a alors heurté B._, le projetant sur le capot puis sur le pare-brise de son véhicule où il s'est trouvé encastré jusqu'à l'arrêt du véhicule. B._ a souffert de multiples fractures, d'une lésion abdominale et de deux dents cassées. Quant à A._, il n'a souffert d'aucune blessure.
Dans son recours, A._ a conclu à ce que l'ordonnance de classement rendue en faveur de B._ soit annulée et à ce que la cause soit renvoyée au Ministère public afin qu'il établisse un acte d'accusation contre B._ pour violation grave des règles de la circulation routière.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de dépens, à sa réforme en ce sens que son recours devant l'autorité cantonale est admis, la cause renvoyée au Ministère public pour qu'il établisse un acte d'accusation contre B._ et qu'une indemnité de 1200 fr., TVA en sus, lui soit allouée pour la procédure de recours cantonale.

Considérant en droit:
1.
1.1. Aux termes de l'art. 81 al. 1 let. b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Indépendamment de cette exigence, le recourant reste habilité à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (cf. <ref-ruling> consid. 1.9 et les réf. cit.).
1.2. Le recourant fait grief à la cour cantonale de lui avoir dénié sa qualité de partie fondée sur l'<ref-law> et, partant, sa qualité pour recourir. Il n'expose toutefois pas en quoi consisterait sa qualité de partie plaignante, excluant même la revêtir. A partir de là, sa qualité pour recourir devant le Tribunal fédéral paraît sujette à caution. Quoi qu'il en soit, ce point peut rester indécis, vu le sort du recours.
2.
Le recourant soutient qu'il revêtait la qualité de partie sur la base de l'<ref-law> et qu'à ce titre, il disposait de la qualité pour recourir contre l'ordonnance de classement rendue en faveur de l'intimé.
2.1. Aux termes de l'<ref-law>, les parties peuvent attaquer l'ordonnance de classement dans les dix jours devant l'autorité de recours.
L'<ref-law> prévoit que toute partie qui a un intérêt juridiquement protégé à l'annulation ou à la modification d'une décision a qualité pour recourir contre celle-ci.
2.2. En substance, la cour cantonale a estimé que le recourant ne disposait pas de la qualité de partie plaignante, faute d'avoir formulé la déclaration expresse de l'<ref-law>. Il ne disposait de toute façon pas de la qualité de lésé dès lors qu'il n'avait subi aucune blessure et que, conformément à la jurisprudence (<ref-ruling> consid. 2.2 à 2.4 p. 262 ss et 4.1 p. 269) une personne impliquée dans un accident de la circulation qui ne subit que de simples dégâts matériels n'est pas lésée au sens de l'<ref-law> pour ce qui concerne les infractions à la LCR.
2.3. Le recourant relève que la procédure ouverte contre l'intimé a été jointe à celle ouverte contre lui. Tous deux avaient la qualité de parties, comme prévenus, raison pour laquelle l'ordonnance de classement rendue en faveur de l'intimé lui a été notifiée. Selon le recourant, cette seule qualité de partie suffirait à lui permettre de recourir contre l'ordonnance de classement, l'<ref-law>, en tant que lex specialis, dérogeant à l'<ref-law>.
2.4. Bien qu'il apparaisse douteux que le recourant revête véritablement la qualité de partie s'agissant des faits reprochés à l'intimé et qu'à ce titre la décision dût véritablement lui être notifiée (<ref-law>), ces points peuvent souffrir de demeurer indécis. En effet, l'<ref-law> ne fait que rappeler, concernant l'ordonnance de classement, ce qui figure aux <ref-law>, pour ce qui est de la voie de recours, et 396 al. 1 CPP pour ce qui est du délai (cf. NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2 e éd. 2013, n° 4 ad <ref-law>; NATHAN LANDSHUT, in Kommentar zur Schweizerischen Strafprozessordnung, Donatsch/Hansjakob/Lieber [éd.], 2010, n o 7 ad <ref-law>). S'agissant de la qualité pour recourir, l'<ref-law> n'entend pas déroger aux exigences figurant à l'<ref-law> qui s'applique également en cas de recours contre une ordonnance de classement (cf. NIKLAUS SCHMID, op. cit., n o 6 ad <ref-law>; NATHAN LANDSHUT, op. cit., n o 8 ad <ref-law>). Ainsi, l'exigence d'un intérêt juridiquement protégé à l'annulation de la décision attaquée s'impose à celui qui recours contre une ordonnance de classement, en application de l'<ref-law>.
Au vu de ce qui précède, c'est à bon droit que la cour cantonale n'a pas admis la qualité pour recourir du recourant sur la seule base de l'<ref-law> et a examiné si celui-ci avait un intérêt juridiquement protégé.
2.5. A cet égard, la cour cantonale a retenu que le classement prononcé en raison de la prescription n'empêchait pas le recourant de faire valoir devant le tribunal les éléments tirés du comportement de l'intimé, tels que constatés par l'ordonnance de classement, notamment son mépris des règles de prudence élémentaires et le fait qu'il n'avait pas accordé la priorité à une voiture.
2.6. Le recourant fait valoir que son intérêt juridiquement protégé résiderait dans son droit à un procès équitable garanti par les art. 29 al. 1 Cst. et 6 par. 1 CEDH. En substance, il soutient que sa situation procédurale serait péjorée par le fait que l'intimé ne revêtirait plus la qualité de coprévenu mais uniquement celle de victime et de partie plaignante. Il serait de notoriété qu'il est difficile de reprocher un comportement à une victime. En d'autres termes, le recourant soutient que le tribunal appelé à le juger sera nécessairement influencé par l'ordonnance de classement.
2.7. Le recourant perd de vue qu'il sera libre de faire valoir sa version des faits et tous les arguments qui en découlent devant le tribunal appelé à le juger. L'affirmation selon laquelle, de manière générale, la pratique du droit pénal montre bien qu'il est difficile de reprocher un comportement à une victime est sans fondement. Elle ne peut permettre de présumer que le juge aura une prévention à cet égard. C'est d'autant plus vrai dans le cadre d'infractions commises par négligence où le comportement de la victime doit faire l'objet d'un examen sous l'angle de l'éventuelle rupture du lien de causalité. Tout au plus, si le risque évoqué devait se produire, il incombera au recourant de démontrer, le cas échéant dans le cadre de la procédure d'appel contre la décision au fond le concernant, que le tribunal a fait preuve d'une telle prévention. Le classement rendu en faveur de l'intimé ne viole pas le droit à un procès équitable du recourant et c'est à bon droit que la cour cantonale a estimé qu'il n'avait pas d'intérêt juridiquement protégé à l'annulation de cette décision. Elle n'a pas violé le droit fédéral en déniant la qualité pour recourir du recourant contre l'ordonnance de classement du 24 juillet 2013. Le grief du recourant est infondé.
3.
Le recours doit ainsi être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens au Ministère public (<ref-law>), ni à l'intimé qui n'a pas été invité à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 mai 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet