Faits :
A.
Par jugement du 22 avril 2021, la Cour d'appel pénale du Tribunal cantonal vaudois a notamment rejeté l'appel formé par A._ contre le jugement du 15 décembre 2020 du Tribunal correctionnel de l'arrondissement de l'Est vaudois le condamnant pour lésions corporelles simples, agression, injure, tentative de contrainte et contravention à la LStup, à une peine privative de liberté de 24 mois, avec sursis durant cinq ans, à une peine pécuniaire de 20 jours-amende à 30 fr. l'unité, avec sursis durant cinq ans, ainsi qu'à une amende de 100 francs. Son expulsion du territoire suisse a été ordonnée pour une durée de 5 ans.
Le jugement cantonal, dont le dispositif a été communiqué par écrit aux intéressés le 26 avril 2021, a été notifié par l'envoi d'une copie complète le 16 juillet 2021 au conseil de A._.
B.
Par pli daté du 15 septembre 2021, remis à la poste le même jour selon le timbre postal, Me B._ a indiqué être le défenseur de A._ et a déposé un recours en matière pénale contre le jugement cantonal au nom de ce dernier. Dans une partie intitulée "recevabilité formelle", le recours indique la date du 14 septembre 2021 comme étant le dernier jour du délai de recours de 30 jours au sens de la LTF.
Par courrier du 21 septembre 2021, la Présidente de la Cour de céans a interpellé le défenseur de A._ sur la question de l'observation du délai de recours contre le jugement cantonal, en attirant son attention sur le fait que le recours pouvait être retiré sans frais, à ce stade.
Par lettre du 24 septembre 2021, Me B._ a reconnu que le recours a été déposé un jour après l'échéance du délai de 30 jours, et a requis, pour le compte du recourant, la restitution du délai de recours, en invoquant une négligence grossière de sa part.

Considérant en droit :
1.
Le Tribunal fédéral contrôle d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2).
1.1. Le recours contre une décision doit être déposé devant le Tribunal fédéral dans les trente jours qui suivent la notification de l'expédition complète (<ref-law>). Les délais dont le début dépend d'une communication ou de la survenance d'un événement courent dès le lendemain de celles-ci (<ref-law>). Les délais fixés en jours par la loi ne courent toutefois pas du 15 juillet au 15 août inclus (<ref-law>). En vertu de l'<ref-law>, les mémoires doivent être remis au plus tard le dernier jour du délai, soit au Tribunal fédéral soit, à l'attention de ce dernier, à La Poste Suisse ou à une représentation diplomatique ou consulaire suisse.
1.2. En l'espèce, le jugement attaqué a été notifié au mandataire du recourant le 19 juillet 2021, ainsi que cela ressort de l'attestation de suivi des envois de la Poste. Compte tenu des féries, le délai de trente jours a commencé à courir le 16 août suivant et est ainsi arrivé à échéance le 14 septembre 2021, de sorte que le recours, déposé le lendemain, est tardif, ainsi que le relève le défenseur du recourant.
2.
Il convient dès lors d'examiner si le délai de recours au Tribunal fédéral peut être restitué, comme le requiert le conseil du recourant.
2.1. Conformément à l'<ref-law>, si, pour un autre motif qu'une notification irrégulière, la partie ou son mandataire a été empêché d'agir dans le délai fixé sans avoir commis de faute, le délai est restitué pour autant que la partie en fasse la demande, avec indication du motif, dans les 30 jours à compter de celui où l'empêchement a cessé; l'acte omis doit être exécuté dans ce délai.
La restitution du délai est ainsi subordonnée à la condition qu'aucun reproche ne puisse être formulé à l'encontre de la partie ou de son mandataire. La restitution d'un délai au sens de l'<ref-law> suppose donc l'existence d'un empêchement d'agir dans le délai fixé, lequel doit être non fautif (cf. sur cette notion, arrêts 6B_28/2018 du 7 août 2018 consid. 3.2.4; 2C_451/2016 du 8 juillet 2016 consid. 2.2; 6B_28/2017 du 23 janvier 2018 consid. 1.3). Pour trancher la question de la restitution du délai de recours au Tribunal fédéral, une partie doit se laisser imputer la faute de son représentant (arrêts 6B_1244/2020 du 15 décembre 2020 consid. 2; 4D_59/2020 du 5 novembre 2020 consid. 4; 5A_316/2011 du 6 mai 2011 consid. 3.2; cf. <ref-ruling> consid. 1.3; arrêt 4A_52/2019 du 20 mars 2019 consid. 3.1 et les arrêts cités). De manière générale, une défaillance dans l'organisation interne de l'avocat (problèmes informatiques, auxiliaire en charge du recours, absence du mandataire principal) ne constitue pas un empêchement non fautif justifiant une restitution du délai (<ref-ruling> consid. 1.3 et arrêts cités).
La sanction du non-respect d'un délai de procédure n'est pas constitutive de formalisme excessif, une stricte application des règles relatives aux délais étant justifiée par des motifs d'égalité de traitement et par un intérêt public lié à une bonne administration de la justice et à la sécurité du droit (cf. <ref-ruling> consid. 3; arrêts 4A_207/2019 du 17 août 2020 consid. 4.3 non publié in <ref-ruling>; 6B_1187/2016 du 6 juillet 2017 consid. 1.4; 6B_51/2015 du 28 octobre 2015 consid. 2.1; cf. également arrêts CourEDH Üçdag contre Turquie du 31 août 2021, requête n° 23314/19, § 38; Sabri Günes contre Turquie du 29 juin 2012, requête n° 27396/06, §§ 39 ss et 56 s.).
2.2. En l'espèce, la lettre d'accompagnement du recours, signée du conseil du recourant, est datée du 15 septembre 2021, lendemain de l'échéance du délai de recours, laquelle est mentionnée dans le mémoire, sans qu'il ne soit fait état d'un quelconque empêchement d'agir. Ce n'est qu'à la suite de l'interpellation du Tribunal fédéral sur l'observation du délai, que le conseil du recourant en a demandé la restitution, faisant valoir l'établissement in extremis d'une attestation par le médecin de la compagne du recourant (datée du 11 septembre 2021), l'utilisation imprévisible et erronée d'un logiciel interne à l'étude, ainsi que l'intervention d'un nouvel auxiliaire. Il n'est donc pas fait état d'une impossibilité d'agir (accident, maladie subite, etc.) non fautive, du recourant ou de son mandataire, au sens de la jurisprudence.
2.3. Admettant qu'au regard de la LTF, la restitution devrait être refusée, le conseil du recourant soulève qu'un tel refus conduirait à une violation du droit à un procès équitable et de son droit à une défense efficace (art. 6 par. 1 et 3 let. c CEDH), au vu de la lourde condamnation de celui-ci. Il considère qu'il y a lieu de s'écarter exceptionnellement d'une interprétation littérale du texte légal, à l'instar d'une appréciation conduite sous l'égide du CPP en cas de défense obligatoire, dans des circonstances exceptionnelles (cf. <ref-ruling>).
Or, la défense obligatoire (<ref-law>) sur laquelle repose la jurisprudence publiée aux <ref-ruling>, rendue dans le cadre de la restitution du délai d'appel en vertu de l'<ref-law>, est inconnue de la LTF (<ref-ruling> consid. 1.2). Devant le Tribunal fédéral, sous réserve de l'<ref-law>, qui vise une tout autre hypothèse, le prévenu décide lui-même s'il veut ou non se faire représenter (arrêts 6B_1244/2020 du 15 décembre 2020 consid. 2.2; 6F_28/2020 du 18 novembre 2020 consid. 7; 6B_720/2015 du 5 avril 2016 consid. 3.2). En outre, contrairement à l'<ref-law>, l'<ref-law> ne fait pas mention d'un préjudice important et irréparable. Aussi, le recourant ne saurait se prévaloir d'une application par analogie de la jurisprudence rendue en lien avec l'<ref-law> ainsi que d'un préjudice important au stade du recours au Tribunal fédéral.
2.4. L'art. 6 par. 1 CEDH garantit le droit à un procès équitable de manière générale. Selon la CourEDH, le droit d'accès à un tribunal n'est pas absolu et se prête à des limitations implicitement admises, notamment quant aux conditions de recevabilité d'un recours, car il appelle de par sa nature même une réglementation par l'État, lequel jouit à cet égard d'une certaine marge d'appréciation. Toutefois, ces limitations ne sauraient restreindre l'accès ouvert à un justiciable de manière ou à un point tels que son droit à un tribunal s'en trouve atteint dans sa substance même. En outre, les limitations appliquées ne se concilient avec l'art. 6 par. 1 CEDH que si elles poursuivent un but légitime et s'il existe un rapport raisonnable de proportionnalité entre les moyens employés et le but visé (arrêts CourEDH Üçdag contre Turquie précité, § 37; Raihani contre Belgique du 15 décembre 2015, requête n° 12019/08, § 32 et arrêts cités).
Selon l'art. 6 par. 3 let. c CEDH, tout accusé a droit notamment à se défendre lui-même ou avoir l'assistance d'un défenseur de son choix et, s'il n'a pas les moyens de rémunérer un défenseur, pouvoir être assisté gratuitement par un avocat d'office, lorsque les intérêts de la justice l'exigent.
L'examen du grief tiré de l'art. 6 par. 1 CEDH doit permettre de déterminer si la procédure pénale a globalement revêtu un caractère équitable. Les droits énoncés à l'art. 6 par. 3 CEDH ne sont non pas des fins en soi mais des aspects particuliers du droit général à un procès équitable qu'il convient de considérer en tenant compte de la procédure dans son ensemble (arrêts CourEDH Ibrahim et autres contre Royaume-Uni du 13 septembre 2016, requêtes nos 50541/08 et autres, § 250 s. et 262; Simeonovi contre Bulgarie du 12 mai 2017, requête n° 21980/04, § 112 s. et 120).
Les modalités d'application de l'art. 6 par. 3 let. c CEDH devant les instances d'appel ou de cassation dépendent des circonstances particulières de la procédure en cause (arrêts CourEDH Andreyev contre Estonie du 22 novembre 2011, requête n° 48132/07, § 68; Meftah et autres contre France du 26 juillet 2002, requêtes nos 32911/96 et autres, § 41). Il faut tenir compte de l'ensemble de la procédure conduite dans l'ordre juridique interne et du rôle, au sein de celui-ci, des instances d'appel ou de cassation. Vu la spécificité du rôle joué par cette dernière instance, son contrôle étant limité au respect du droit, un formalisme plus grand peut être admis à cet égard (arrêt CourEDH Meftah et autres contre France précité, § 41 s. et les arrêts cités).
2.5. Le recourant ne présente aucun développement relatif au droit à un procès équitable au sens de l'art. 6 par. 1 CEDH. L'on relèvera toutefois que la fixation d'un délai de recours et les conditions posées à la restitution de celui-ci au sens de la LTF poursuivent un but légitime, tendant notamment à assurer une bonne administration de la justice et au respect du principe de la sécurité juridique, qui assure l'égalité des justiciables devant la loi. Le principe de proportionnalité entre la limitation imposée et le but visé est respecté, dès lors que la restitution du délai permet d'assurer l'accès au Tribunal fédéral, en cas d'empêchement non fautif d'agir dans le délai de recours légal, à certaines conditions qui ne sont pas réalisées en l'espèce.
Quant au droit conventionnel à une défense effective, il ne permet pas davantage d'assouplir les exigences découlant des art. 100 et 50 LTF (cf. arrêt 6B_28/2017 du 23 janvier 2018 consid. 1.3 in fine). Compte tenu des spécificités du recours en matière pénale au Tribunal fédéral, qui est une voie de recours extraordinaire (arrêts 6B_1065/2017 du 17 mai 2019 consid. 7 non publié in <ref-ruling>; 6B_67/2019 du 16 décembre 2020 consid. 6.6.7) permettant l'examen du droit et non des faits (cf. art. 95 et 97 LTF), il y a lieu de s'en tenir à un formalisme strict, en particulier quant à l'observation du délai de recours par les avocats.
Les arrêts de la CourEDH que cite le recourant (arrêts Andreyev contre Estonie précité, § 69 ss; Czekalla contre Portugal du 10 octobre 2002, requête n° 38830/97, § 24 ss, 38 ss et 59 ss) ont trait à la défense du condamné au stade de l'appel. Or, en l'espèce, le recourant a bénéficié de l'assistance d'un défenseur d'office tant en première instance qu'en procédure d'appel. Il a pu faire valoir tous ses griefs factuels et juridiques devant les juges du fond, concluant en appel, à sa libération des accusations d'agression et d'injure, et à sa condamnation pour lésions corporelles simples uniquement pour un cas de l'acte d'accusation, tentative de contrainte et contravention à la LStup. Il a pu contester la peine et la mesure prononcées. Le recourant a donc bénéficié d'une pleine voie de recours pour contester le jugement de première instance. La procédure pénale a ainsi globalement revêtu un caractère équitable au sens de l'art. 6 par. 1 CEDH.
La présente affaire se distingue d'un autre cas cité, sans autre développement, par le recourant (arrêt CourEDH Panasenko contre Portugal du 22 juillet 2008, requête n° 10418/03, § 48 ss), dont l'examen porte sur une période de 15 jours suivant immédiatement la notification, dans une langue non maîtrisée par le requérant, de l'arrêt de la cour d'appel le condamnant à une peine de 21 ans d'emprisonnement ainsi qu'à une interdiction du territoire. Pendant cette période, le condamné n'était pas défendu effectivement, le délai de recours étant précisément de 15 jours. Dans la présente cause, il n'est pas fait état d'un défaut de défense au moment de la notification du jugement cantonal ou dans la période durant laquelle courait le délai de recours, en l'occurrence, prolongé en raison des féries judiciaires (<ref-law>).
2.6. Considérer, comme le suggère le recourant, que la condamnation à une peine privative de liberté (24 mois avec sursis, en l'espèce) et à une expulsion du territoire (pour une durée de 5 ans) suffit à admettre systématiquement une restitution du délai de recours, reviendrait à vider de son sens l'<ref-law>, fixant à 30 jours le délai de recours au Tribunal fédéral, pour une partie non négligeable des recours en matière pénale. Une telle approche contreviendrait gravement à l'intérêt public lié à une bonne administration de la justice, à la sécurité du droit et à l'égalité de traitement entre les justiciables, en fonction de la nature de la cause et la sanction prononcée. Seule une interprétation stricte et homogène des art. 100 al. 1 et 50 al. 1 LTF, indépendante du domaine du droit et des points attaqués (cf. art. 100 al. 2 à 5 s'agissant des délais légaux spéciaux), permet d'assurer le respect des exigences de prévisibilité et de cohérence qui servent les intérêts des justiciables et de toutes les parties à une même procédure.
2.7. Dans la mesure où l'application des règles relatives aux délais est également justifiée par des motifs d'égalité de traitement, le recourant ne saurait se prévaloir de ce principe à l'égard de ses coprévenus, lesquels ont déposé recours dans les temps. En tout état, le recourant ne saurait obtenir une restitution de délai pour la seule hypothèse où ses coprévenus seraient acquittés (cf. <ref-law> en cas de contradiction flagrante avec une décision pénale rendue postérieurement sur les mêmes faits). En tant qu'il se prévaut de faits nouveaux, qui justifieraient selon lui de renoncer à son expulsion, il omet que ceux-ci seraient irrecevables devant le Tribunal fédéral (<ref-law>), de sorte qu'il ne saurait en déduire une restitution du délai de recours.
2.8. En définitive, en dépit de la portée que revêt son recours, on ne saurait faire une exception dans le cas du recourant, compte tenu des principes de la sécurité du droit, de la légalité et de l'égalité de traitement (cf. art. 5 al. 1 et 8 al. 1 Cst.; cf. arrêts 6B_28/2018 du 7 août 2018 consid. 3.2; 1C_293/2010 du 21 juin 2010 consid. 2; 9C_480/2007 du 27 novembre 2007).
3.
Au vu de ce qui précède, la requête de restitution du délai de recours doit être rejetée. Le recours, déposé tardivement, doit être déclaré irrecevable.
En dérogation à la règle générale posée à l'<ref-law>, et conformément à la requête du mandataire du recourant, il se justifie de mettre les frais judiciaires à la charge du premier en raison de la grave négligence à l'origine de l'irrecevabilité du recours (arrêt 6B_1244/2020 du 15 décembre 2020 consid. 3; <ref-ruling> consid. 2).

Par ces motifs, le Tribunal fédéral prononce :
1.
La requête de restitution du délai de recours est rejetée.
2.
Le recours est irrecevable.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge Me B._, avocat à U._.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 novembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke