Faits :
A.
Le 11 mai 2019, une instruction pénale a été ouverte contre A._ et son fils, C._, pour lésions corporelles simples et injure, en raison de la plainte déposée le même jour par B._, à la suite d'une altercation ayant eu lieu le 10 mai 2019, dans un train.
Le 12 juin 2019, A._ a déposé à son tour une plainte pénale contre B._, en lui reprochant de l'avoir insulté lors de l'altercation du 10 mai 2019, de lui avoir aspergé le visage avec du spray au poivre et de l'avoir blessé en lui assénant des coups de pied. Le 3 octobre 2019, une instruction pénale a été ouverte contre B._ pour lésions corporelles simples et injure.
B.
Par ordonnance du 22 avril 2020, le ministère public a ordonné le classement de la procédure pénale dirigée contre B._ pour lésions corporelles simples et injure (I) et a prononcé le classement de la procédure pénale dirigée contre A._ pour injure (II).
Le procureur a retenu qu'il était établi que les protagonistes s'étaient injuriés mutuellement le 10 mai 2019 de sorte qu'un classement s'imposait s'agissant de cette infraction pour chacun d'eux (art. 177 al. 3 CP; 319 al. 1 let. e CPP). En outre, il a retenu qu'en usant son spray au poivre et en donnant un coup de pied, B._ s'était défendu de manière proportionnée alors qu'il était passé à tabac par deux personnes, de sorte que la procédure dirigée contre le premier pour lésions corporelles simples devait être classée en application des art. 15 CP et 319 al. 1 let. c CPP.
A._ a été mis en accusation pour agression, subsidiairement lésions corporelles simples, en lien avec les agissements commis au préjudice de B._.
C.
Par arrêt du 25 mai 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance du 22 avril 2020, qu'elle a confirmée.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal du 25 mai 2020 et conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause au ministère public pour ouverture de l'instruction à l'encontre de B._ pour lésions corporelles simples.
E.
Invités à se déterminer sur le mémoire de recours, le ministère public et la cour cantonale y ont renoncé. L'intimé a déposé des observations et a conclu, avec suite de frais et dépens, au rejet du recours et à la confirmation de l'ordonnance de classement. Les réponses ont été communiquées au recourant, qui a répliqué. Son écriture a été transmise à l'intimé.

Considérant en droit :
1.
1.1. Selon le recourant, le classement de la procédure en faveur de l'intimé, en tant qu'il concerne les infractions de lésions corporelles simples qu'il dénonce, consacre une violation de la présomption d'innocence. Il invoque une violation des art. 10 al. 1 CPP et 6 par. 2 CEDH sur ce point. En cela, il convient de lui reconnaître la qualité pour recourir au sens de l'art. 81 LTF, indépendamment de la problématique de ses prétentions civiles envers l'intimé comme partie plaignante (<ref-ruling> consid. 1). La violation du principe de la présomption d'innocence invoquée dans la configuration du cas d'espèce, où le recourant est à la fois partie plaignante et renvoyé en jugement en procédure parallèle, constitue une atteinte particulière à ses droits de partie qui l'habilite à recourir.
1.2. Aux termes de l'art. 10 al. 1 CPP, toute personne est présumée innocente tant qu'elle n'est pas condamnée par un jugement entré en force.
Selon l'art. 6 par. 2 CEDH, toute personne accusée d'une infraction est présumée innocente jusqu'à ce que sa culpabilité ait été légalement établie.
Considérée comme une garantie procédurale dans le cadre du procès pénal lui-même, la présomption d'innocence impose des conditions concernant notamment la formulation par le juge du fond ou toute autre autorité publique de déclarations prématurées quant à la culpabilité d'un prévenu (arrêts de la CourEDH Allen contre Royaume-Uni du 12 juillet 2013 [requête n° 25424/09], § 93; Allenet de Ribemont contre France du 10 février 1995, série A n° 308, §§ 35-36; cf. <ref-ruling> consid. 3b; cf. également arrêt 6B_1180/2019 du 17 février 2020 consid. 2.2.2).
La présomption d'innocence se trouve méconnue si, sans établissement légal préalable de la culpabilité d'un prévenu et, notamment, sans que ce dernier ait eu l'occasion d'exercer les droits de la défense, une décision judiciaire le concernant reflète le sentiment qu'il est coupable. Il peut en aller ainsi même en l'absence de constat formel; il suffit d'une motivation donnant à penser que le juge ou l'agent d'État considère l'intéressé comme coupable (arrêts de la CourEDH Karaman contre Allemagne du 27 février 2014 [requête n° 17103/10], § 41; Böhmer contre Allemagne du 3 octobre 2002 [requête n° 37568/97], § 54; Minelli contre Suisse du 25 mars 1983, série A, vol. 62 [requête n° 8660/79], § 37; cf. aussi <ref-ruling> consid. 3b et arrêt 6B_1217/2017 du 17 mai 2018 consid. 3.1). La garantie de l'art. 6 par. 2 CEDH s'étend aux procédures judiciaires qui précèdent le renvoi de l'inculpé en jugement ainsi qu'à celles postérieures à l'acquittement définitif de l'accusé (arrêt de la CourEDH Diamantides contre Grèce du 19 mai 2005 [requête n° 71563/01], § 44; cf. également arrêt CourEDH Y.B. et autres contre Turquie du 28 octobre 2004 [requêtes n°s 48173/99 et 48319/99], § 43 s.).
La CourEDH insiste sur l'importance du choix des mots utilisés par les agents publics dans leurs déclarations relatives à une personne qui n'a pas encore été jugée et reconnue coupable d'une infraction pénale donnée (arrêts de la CourEDH Böhmer contre Allemagne précité, § 56; Daktaras contre Lituanie du 10 octobre 2000 [requête n° 42095/98], § 41). Elle considère ainsi que ce qui importe aux fins d'application de la disposition précitée, c'est le sens réel des déclarations en question, et non leur forme littérale. Toutefois, le point de savoir si la déclaration d'un agent public constitue une violation du principe de la présomption d'innocence doit être tranché dans le contexte des circonstances particulières dans lesquelles la déclaration litigieuse a été formulée (arrêts de la CourEDH Y.B. et autres contre Turquie précité, § 44; Daktaras contre Lituanie précité, § 43; voir notamment arrêt de la CourEDH Adolf contre Autriche du 26 mars 1982, série A n° 49, §§ 36-41).
1.3. A teneur de l'art. 319 al. 1 CPP, le ministère public ordonne le classement de tout ou partie de la procédure notamment lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c).
Ce motif de classement comprend notamment la légitime défense au sens de l'art. 15 CP (LANDSHUT/BOSSHARD, in Kommentar zur Schweizerischen Strafprozessordnung [StPO], vol. II, Donatsch/ Summers/Lieber/Wohlers [éd.], 3ème éd. 2020, n° 21 ad art. 319 CPP; ROTH/VILLARD, in Commentaire romand, Code de procédure pénale suisse, 2ème éd. 2019, n° 4 ad art. 319 CPP; GRÄDEL/HEINIGER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2ème éd. 2014, n° 11 ad art. 319 CPP). Aux termes de cette disposition, quiconque, de manière contraire au droit, est attaqué ou menacé d'une attaque imminente a le droit de repousser l'attaque par des moyens proportionnés aux circonstances.
1.4. S'agissant de l'infraction de lésions corporelles simples reprochée à l'intimé, la cour cantonale a confirmé les faits tels que décrits par le ministère public, sur la base d'images de vidéosurveillance. Elle a considéré que l'intimé était menacé sérieusement et n'avait pas usé de moyens disproportionnés en utilisant son spray au poivre pour se défendre face à l'attaque imminente qui se présentait à lui. De même, le coup de pied qu'il avait donné au recourant l'était à des fins de défense, puisqu'il était roué de coups alors qu'il était en infériorité numérique. La cour cantonale en a déduit que l'intimé se trouvait en état de légitime défense (art. 15 CP) et a confirmé le classement pour ce motif (art. 319 al. 1 let. c CPP).
Saisie du grief déduit de la violation de la présomption d'innocence, la cour cantonale a retenu que le Procureur, qui avait classé l'affaire en faveur de l'intimé pour les mêmes motifs, n'avait pas violé la présomption d'innocence, puisqu'il s'était borné à renvoyer le recourant en accusation et que ce dernier pouvait faire valoir ses moyens de défense devant un tribunal.
1.5. Ce raisonnement ne saurait être suivi. En déduisant notamment du "visage particulièrement agressif" du recourant, que ce dernier avait "envie d'en découdre"et avait "passé à tabac" l'intimé, en ayant "manifestement l'intention de porter atteinte à son intégrité physique", la cour cantonale a laissé à penser qu'elle considérait l'intéressé comme coupable d'une infraction (notamment de lésions corporelles) avant qu'une décision au fond ne soit rendue par un tribunal sur sa culpabilité. Le fait que la cour cantonale se serait contentée de décrire les images de vidéosurveillance ne change rien à ce constat.
L'arrêt entrepris préjuge de la culpabilité du recourant, lequel n'a pas eu l'occasion de faire valoir ses moyens de défense, en qualité de partie plaignante dans le cadre de la procédure dirigée contre l'intimé. Il en résulte que la cour cantonale a violé la présomption d'innocence au sens de la jurisprudence précitée. Dans pareille configuration, impliquant des protagonistes dont les comportements sont intimement liés, il appartenait au ministère public de renvoyer tous les intéressés en jugement afin que le juge matériellement compétent se prononce sur les conditions de réalisation des infractions et, le cas échéant, sur le motif justificatif que consacre la légitime défense.
Ces considérations n'excluent toutefois pas qu'un classement soit prononcé en vertu de l'art. 319 al. 1 let. c CPP en lien avec l'art. 15 CP dans des configurations particulières.
Au vu de ce qui précède, il n'y a pas lieu d'examiner les griefs déduits de l'art. 319 CPP et de l'adage "in dubio pro duriore".
2.
Pour ce motif, le recours doit être admis, l'arrêt entrepris annulé et la cause renvoyée à la cour cantonale pour qu'elle statue sur les frais et dépens de la procédure cantonale et renvoie à son tour la cause au ministère public afin qu'il renvoie les protagonistes en jugement s'agissant des infractions de lésions corporelles.
Le recourant obtient gain de cause. Compte tenu du motif d'admission du recours, il est statué sans frais et le recourant a droit à des dépens à la charge du canton de Vaud exclusivement (cf. art. 66 al. 1 et 68 al. 1 et 2 LTF). L'intimé, qui a conclu au rejet du recours, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à la cour cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 3'000 fr., à verser au recourant à titre de dépens pour la procédure devant le Tribunal fédéral, est mise à la charge du canton de Vaud.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 juin 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke