Faits :
A.
A._, ressortissant français, né en 1988, vient en Suisse avec sa famille et la communauté des gens du voyage depuis son enfance entre les mois de mars et novembre. Il n'est pas au bénéfice d'un titre de séjour en Suisse, mais a été régulièrement titulaire de cartes de légitimation pour commerçants itinérants.
Il a été condamné à plusieurs reprises en Suisse :
- le 26 mai 2011, par le Ministère public du canton du Valais, à une peine pécuniaire de 20 jours-amende à 30 fr., avec sursis pendant 2 ans, et à une amende de 300 fr., pour activité lucrative sans autorisation;
- le 18 août 2014, par le Ministère public du canton du Valais, à une peine pécuniaire de 60 jours-amende à 30 fr., avec sursis pendant 2 ans, et à une amende de 600 fr., pour conducteurs se trouvant dans l'incapacité de conduire et opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire;
- le 25 janvier 2016, par le Ministère public de l'arrondissement de l'Est vaudois, à une peine pécuniaire de 90 jours-amende à 30 fr., pour usure (tentative) et activité lucrative sans autorisation;
- le 10 mai 2016, par le Ministère public de l'arrondissement de l'Est vaudois, à une peine pécuniaire de 20 jours-amende à 30 fr., pour délit contre la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (LArm, RS 514.54);
- le 20 octobre 2016, par le Ministère public de l'arrondissement de l'Est vaudois, à une peine pécuniaire de 70 jours-amende à 30 fr., pour usure;
- le 25 janvier 2018, par le Ministère public de l'arrondissement de l'Est vaudois, à une peine privative de liberté de 60 jours, pour vol;
- le 3 décembre 2018, par le Ministère public du canton du Valais, à une peine pécuniaire de 150 jours-amende à 30 fr., pour délit contre la loi fédérale du 20 décembre 1946 sur l'assurance-vieillesse et survivants (LAVS, RS 831.10), violation des obligations en matière d'assurance ou de primes au sens de la loi fédérale du 20 mars 1981 sur l'assurance-accidents (LAA, RS 832.20) et délit contre la loi fédérale du 25 juin 1982 sur la prévoyance professionnelle vieillesse, survivants et invalidité (LPP, RS 831.40).
B.
Par courrier du 3 octobre 2019, le Secrétariat d'Etat aux migrations a informé l'intéressé qu'il envisageait, au vu des infractions précitées, de prononcer une interdiction d'entrée en Suisse à son encontre. Un délai lui a par ailleurs été imparti afin qu'il fasse part de ses objections éventuelles. Ce courrier a été transmis au Consulat général de Suisse à Lyon (ci-après : le Consulat) pour notification à l'intéressé. Le 15 octobre 2019, le Consulat a informé le Secrétariat d'Etat aux migrations que son envoi lui avait été restitué pour "défaut d'accès ou d'adressage".
Par décision du 21 novembre 2019, le Secrétariat d'Etat aux migrations a prononcé une interdiction d'entrée en Suisse et au Liechtenstein à l'encontre de A._ pour une durée de six ans. Cette décision était motivée par les diverses condamnations de l'intéressé en Suisse ainsi que par une enquête pénale en cours depuis le 18 juin 2019 auprès du Ministère public de l'arrondissement de l'Est vaudois pour escroquerie.
Le 6 février 2020, A._ a fait l'objet d'un contrôle de la part des gardes-frontière suisses alors qu'il tentait d'entrer sur le territoire helvétique. Un formulaire intitulé "droit d'être entendu en cas de mesures d'éloignement" lui a été remis. L'intéressé a signé ce document et y a indiqué "[j]e désire faire recours contre cette décision afin de pouvoir revenir en Suisse car je possède une entreprise à mon nom". L'intéressé a par la suite été refoulé sur le territoire français.
Le 13 mars 2020, après divers aléas de procédure, le Secrétariat d'Etat aux migrations a notifié sa décision d'interdiction d'entrée auprès du mandataire en Suisse de l'intéressé.
Par arrêt du 28 juillet 2021, le Tribunal administratif fédéral a partiellement admis le recours formé par l'intéressé contre la décision précitée du 21 novembre 2019 en la réformant en ce sens que qu'elle prendra fin le 20 novembre 2023 (ch. 1 et 2 du dispositif). Il a condamné l'intéressé à des frais réduits (ch. 3) et lui a alloué un montant de 700 fr. à titre de dépens réduits (ch. 4).
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif au recours, l'annulation de l'arrêt du Tribunal administratif fédéral du 28 juillet 2021 et celle de son interdiction d'entrée en Suisse, ainsi que la fixation à dire de justice des dépens mis à la charge du Secrétariat d'Etat aux migrations devant l'autorité précédente.
La requête d'effet suspensif au recours a été rejetée par ordonnance présidentielle du 4 octobre 2021.
Le Tribunal administratif fédéral renonce à prendre position. Le Secrétariat d'Etat aux migrations confirme sa position et conclut au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (cf. art. 29 al. 1 LTF). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
1.1. Selon l'art. 83 let. c ch. 1 LTF, le recours en matière de droit public est irrecevable contre les décisions relevant du droit des étrangers qui concernent l'entrée en Suisse, à savoir notamment les décisions d'interdiction d'entrée fondées, comme en l'espèce, sur l'art. 67 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20). Cette exception ne s'applique toutefois pas dans les cas concernant, comme en l'espèce, les ressortissants d'un Etat membre de l'Union européenne, en vertu de l'obligation pour la Suisse prévue à l'art. 11 par. 1 et 3 de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) d'instaurer un double degré de juridiction contre ce type de décisions lorsqu'elles visent un tel ressortissant (<ref-ruling> consid. 1, rendu sous l'ancienne loi fédérale du 16 décembre 1943 d'organisation judiciaire [OJ; RO 60 269] et toujours valable sous la LTF: arrêt 2C_529/2021 du 23 novembre 2021 consid. 1.1; 2C_318/2012 du 22 février 2013 consid. 1.1, non publié in <ref-ruling>). Dans ce cas, le Tribunal fédéral se fonde directement sur l'art. 11 par. 1 et 3 ALCP.
Le présent recours, qui porte sur un arrêt du Tribunal administratif fédéral rendu à la suite d'une décision, en première instance, du Secrétariat d'Etat aux migrations, échappe donc à la clause d'irrecevabilité prévue à l'art. 83 let. c ch. 1 LTF.
1.2. Pour le surplus, le présent recours est dirigé contre une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (cf. art. 86 al. 1 let. a LTF). Il a en outre été déposé en temps utile, compte tenu des féries estivales (art. 100 al. 1 et 46 al. 1 let. b LTF), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte que le recourant a qualité pour recourir (art. 89 al. 1 LTF). Il est donc recevable.
2.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 2). Conformément à l'art. 106 al. 2 LTF, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué, sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
2.2. Dans la mesure où le recourant présente une argumentation partiellement appellatoire, en opposant sa propre version des faits à celle du Tribunal administratif fédéral ou en complétant librement l'état de fait, sans cependant invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il sera donc statué sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
3.
Le recourant reproche au Tribunal administratif fédéral d'avoir confirmé l'interdiction d'entrée en Suisse prononcée à son encontre. Il invoque une violation des art. 5 Annexe I ALCP et 67 al. 2 let. a LEI.
3.1. Aux termes de l'art. 67 al. 2 let. a LEI, le Secrétariat d'Etat aux migrations peut interdire l'entrée en Suisse à un étranger qui a attenté à la sécurité et à l'ordre publics en Suisse ou à l'étranger ou les a mis en danger. L'alinéa 3 de cette disposition précise que l'interdiction d'entrée est prononcée en principe pour une durée maximale de cinq ans (première phrase), mais que cette durée peut être plus longue lorsque la personne concernée constitue une menace grave pour la sécurité et l'ordre publics (seconde phrase).
3.2. L'art. 67 LEI doit être interprété en tenant compte des exigences spécifiques de l'ALCP, lorsque, comme en l'espèce, l'étranger concerné est un ressortissant de l'UE (cf. <ref-ruling> consid. 5.1; arrêt 2C_492/2021 du 23 novembre 2021 consid. 4.1 et autres références citées).
Comme l'ensemble des droits conférés par l'ALCP, le droit de demeurer en Suisse, respectivement le droit d'entrer dans ce pays, ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'art. 5 par. 1 annexe I ALCP (<ref-ruling> consid. 5.3; <ref-ruling> consid. 4.1; arrêt 2C_492/2021 du 23 novembre 2021 consid. 4.2 et les autres références citées). Conformément à la jurisprudence rendue en rapport avec cette disposition, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'ordre public pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société. La seule existence d'antécédents pénaux ne permet donc pas de conclure (automatiquement) que l'étranger constitue une menace suffisamment grave pour l'ordre et la sécurité publics. Il faut procéder à une appréciation spécifique du cas, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas obligatoirement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne sont déterminantes que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle et réelle, d'une certaine gravité pour l'ordre public. Il n'est pas nécessaire d'établir avec certitude que l'étranger commettra d'autres infractions à l'avenir pour prendre une mesure d'éloignement à son encontre; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. En réalité, ce risque ne doit pas être admis trop facilement et il faut l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier au regard de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 5.3; arrêt 2C_492/2021 du 23 novembre 2021 consid. 4.2 et les autres références citées).
3.3. Il convient donc dans le cas présent d'examiner si l'autorité précédente retient à raison que le recourant représente une menace d'une certaine gravité pour l'ordre et la sécurité publics.
Le recourant le conteste en faisant valoir que les infractions pour lesquelles il a été condamné étaient "hétéroclites", dirigées contre des biens juridiques mineurs et que les peines prononcées démontraient leur absence de gravité. Il relève également ne plus avoir commis d'infractions depuis 2018 et considère ne pas constituer une menace permettant de justifier une interdiction d'entrée.
3.4. En l'occurrence, il ressort des faits de l'arrêt attaqué que le recourant a fait l'objet de sept condamnations pénales par les autorités suisses entre 2011 et 2018. Il a ainsi violé des dispositions de la LEI/LEtr, de la LCR, en particulier pour conduite avec un taux qualifié d'alcool, de la LArm, de la LAVS, de la LAA et de la LPP. Il a également été condamné pour usure et vol. Les juges précédents relèvent à juste titre que les infractions pour lesquelles il a été condamné sont d'une certaine gravité. Le recourant a notamment visé des personnes particulièrement vulnérables, à savoir une dame âgée de 89 ans et une autre de 84 ans, malvoyante et sourde, et mis en danger l'intégrité physique, voire la vie des autres usagers de la route en prenant le volant en étant en incapacité de conduire (cf. <ref-ruling> consid. 5.5.1; arrêt 2C_344/2016 du 6 septembre 2016 consid. 5.1). Le recourant ne peut pas tirer avantage du caractère hétérogène de ses nombreuses infractions, lesquelles mettent en lumière son incapacité à respecter l'ordre juridique suisse. En outre, on relèvera à l'instar de l'autorité précédente que les différentes condamnations, en particulier celle à une peine privative de liberté de 60 jours, ne l'ont pas dissuadé de commettre de nouvelles infractions. Enfin, comme le mentionne à juste titre l'autorité précédente, le nombre des condamnations du recourant est significatif, en particulier pour une personne ne résidant pas de façon permanente en Suisse.
Sur le vu de ce qui précède, le Tribunal administratif fédéral ne prête pas le flanc à la critique lorsqu'il retient que le recourant a démontré une propension à la récidive et représente une menace réelle et suffisamment grave pour l'ordre juridique et la sécurité publics au sens de l'art. 5 par. 1 Annexe I ALCP. Il n'a ainsi pas violé le droit en confirmant que les conditions au prononcé d'une interdiction d'entrée de l'art. 67 al. 2 let. a LEI étaient remplies
4.
Le recourant s'en prend à la proportionnalité de la mesure. Il remet en cause l'importance de l'intérêt public et fait valoir qu'il vient chaque année en Suisse avec sa famille et toute sa communauté depuis l'enfance entre les mois de mars et novembre et que la décision litigieuse le couperait de tous ses liens avec eux durant cette période. En outre, il indique que cette mesure l'empêcherait de continuer à déployer les activités économiques qu'il a toujours développées en Suisse et d'aider sa mère, invalide, à travailler sur les marchés.
4.1. Tant en application de l'ALCP que de l'art. 96 LEI il faut que la pesée des intérêts publics et privés effectuée dans le cas d'espèce fasse apparaître la mesure d'éloignement comme proportionnée aux circonstances. A cet égard, il faut prendre en considération, outre la gravité de la faute, la situation personnelle de l'étranger, son degré d'intégration, la durée de son séjour en Suisse ainsi que les inconvénients que lui et sa famille devraient subir si la mesure litigieuse était appliquée (<ref-ruling> consid. 6.5.1; arrêt 2C_492/2021 du 23 novembre 2021 consid. 5.2 et les autres références citées).
4.2. En l'espèce, le Tribunal administratif fédéral a procédé à une pesée des intérêts en présence qui échappe à la critique. Il a tout d'abord à juste titre considéré qu'au vu de l'activité délictuelle répétée du recourant, qui ne s'est pas limitée à des infractions contre le patrimoine et qui a parfois visé des personnes particulièrement vulnérables, il existait un intérêt public indéniable à le tenir éloigné de Suisse pendant une période relativement longue. L'autorité précédente n'a négligé aucune circonstance importante et a en particulier pris en compte les éléments mentionnés par le recourant dans son recours, en reconnaissant qu'il avait un intérêt certain à pouvoir venir en Suisse, pour y suivre sa famille et les siens, y travailler et y assister sa mère invalide. Elle a également pris en considération le mode de vie du recourant, lequel fait partie de la communauté des gens du voyage, ainsi que l'effet de la mesure en cause sur son droit à la libre circulation. Le recourant n'expose pas en quoi le raisonnement de l'autorité précédente serait erroné.
Sur le vu de l'ensemble de ce qui précède, les précédents juges ont conclu à bon droit que l'intérêt public devait l'emporter sur l'intérêt privé du recourant à pouvoir se rendre librement en Suisse. La durée d'interdiction prononcée de quatre ans reste inférieure à la durée maximale de cinq ans prévue par la loi (art. 67 al. 3 1ère phrase LEI), en l'absence, comme en l'espèce, d'une "menace grave" au sens de l'art. 67 al. 3 2ème phrase LEI (cf. <ref-ruling> consid. 6.1 ss). Si cette durée peut apparaître sévère, elle reste proportionnée. La simple mention du recourant qu'il conviendrait de la réduire à une durée "minimum" (recte: maximum) de deux ans ne suffit pas pour conclure au caractère disproportionné de celle-ci.
5.
Le recourant invoque en outre en vain les art. art. 66a et 66abis du Code pénale suisse du 21 décembre 1937 (CP; RS 311.0) qui habilitent le juge pénal à prononcer l'expulsion de Suisse d'un étranger délinquant pour une durée de minimum 5 ans (respectivement 3 ans en cas d'expulsion non obligatoire) à maximum 15 ans, voire 20 ans ou à vie en cas de récidive (art. 66b CP).
Certes, l'expulsion pénale comporte également une interdiction d'entrée (cf. <ref-ruling> consid. 3.4.1; art. 121 al. 5 Cst.; Message concernant une modification du code pénal et du code pénal militaire [Mise en oeuvre de l'art. 121 al. 3 à 6, Cst. relatif au renvoi des étrangers criminels], du 26 juin 2013, FF 2013 5373, 5394). On pourrait alors considérer, au vu des similitudes qui existent entre l'interdiction prononcée selon ces dispositions et l'interdiction fondée sur l'art. 67 LEI (sur ce point, cf. ADANK-SCHÄRER/ANTONIAZZA-HAFNER, Interdiction d'entrée prononcée à l'encontre d'un étranger délinquant, in PJA 2018 p. 894), qu'il conviendrait d'appliquer par analogie aux cas d'interdiction d'entrée les art. 62 al. 2 et 63 al. 3 LEI, interdisant aux autorités administratives de révoquer une autorisation en se fondant uniquement sur des infractions pour lesquelles un juge pénal a renoncé à prononcer une expulsion (cf. dans ce sens, les Directives LEI, établies par le Secrétariat d'Etat aux migrations, version d'octobre 2013, actualisée le 15 décembre 2021, ch. 8.4.2.5, disponibles sur le site www.sem.admin.ch).
Cette question peut demeurer indécise pour le motif suivant: les condamnations pénales en cause ont toutes été prononcées par le ministère public. Or si l'expulsion pénale ne peut être prononcée que par le juge (cf. art. 66a et 66a bis CP, art. 352 al. 2 CPP [RS 312.0]; FF 2013 5373, 5405 s.; arrêts 2C_945/2019 du 15 janvier 2020 consid. 2.2.1; 2C_628/2019 du 18 novembre 2019 consid. 7.4), on ne peut pas exclure que le ministère public puisse tacitement ou explicitement renoncer à prononcer une expulsion dans la procédure de l'ordonnance pénale (cf. POPESCU/WEISSENBERGER, Expulsion pénale et droit des migrations: un casse-tête pour la pratique, in PJA 2018, p. 360; ADANK-SCHÄRER/ANTONIAZZA-HAFNER, op. cit., p. 895 et références; cf. également la "recommandations art. 66a à 66d CP" de la Conférence des procureurs de Suisse qui prévoit que le ministère public peut renoncer à l'expulsion par voie d'ordonnance pénale; consultables sur le site: www.ssk-cps.ch). Toutefois, dans un tel cas de figure, les autorités administratives ne sont pas liées par l'ordonnance pénale rendue (cf. arrêts 2C_532/2020 du 7 octobre 2020 consid. 8; 2C_945/2019 du 15 janvier 2020 consid. 2.2.1; 2C_628/2019 du 18 novembre 2019 consid. 7.4 et références; dans ce sens, POPESCU/WEISSENBERGER, Expulsion pénale et droit des migrations: un casse-tête pour la pratique, in PJA 2018, p. 360 et ADANK-SCHÄRER/ANTONIAZZA-HAFNER, op. cit., p. 895; d'un avis contraire, BRUN/FABBRI, Die Landesverweisung - neue Aufgaben und Herausforderungen für die Strafjustiz, in recht 2017, p. 242 et références). Le Secrétariat d'Etat aux migrations restait donc libre de prononcer une interdiction d'entrée indépendamment des décisions prises par le ministère public en matière d'expulsion.
6.
Le recourant dénonce également une violation du principe ne bis in idem.
6.1. Le principe ne bis in idem est un corollaire de l'autorité de chose jugée. Il appartient avant tout au droit pénal fédéral matériel et interdit qu'une personne soit poursuivie deux fois pour les mêmes faits (<ref-ruling> consid. 2.1 ss; <ref-ruling> consid. 2b; arrêt 2C_751/2014 du 23 février 2015 consid. 5.1). Le principe ne bis in idem suppose que les mesures concernées aient toutes deux un caractère pénal (cf. arrêt 2C_751/2014 du 23 février 2015 consid. 5.3 et références).
6.2. En l'occurrence, l'interdiction d'entrée au sens de l'art. 67 al. 2 let. a LEI est une mesure administrative, dépourvue de caractère pénal, qui vise à maintenir éloigné l'étranger dont la présence en Suisse est indésirable (cf. arrêt 2C_408/2007 du 5 décembre 2007 consid. 4.3; arrêts du Tribunal administratif fédéral F-4043/2018 du 23 janvier 2020 consid. 6.3; F-6713/2016 du 19 mai 2017 consid. 5.2 et 7.5; FF 2013 5386). Le principe ne bis in idem ne peut donc trouver application. Le grief doit être rejeté.
7.
Le recourant se plaint encore du montant de l'indemnité de dépens que lui a alloué l'instance précédente, soit 700 fr., calculé sur un montant de base de 2'000 fr. Il fait valoir que ce dernier montant est loin de couvrir le coût réel des opérations effectuées au cours de cette procédure qui a duré une année et demi.
7.1. Selon l'art. 8 du règlement du 21 février 2008 concernant les frais, dépens et indemnités fixés par le Tribunal administratif fédéral (FITAF; RS 173.320.2), les dépens comprennent notamment les frais de représentation. Ceux-ci englobent en particulier les honoraires d'avocat (art. 9 al. 1 let. a FITAF), lesquels sont calculés en fonction du temps nécessaire à la défense de la partie représentée (art. 10 al. 1 FITAF). Le Tribunal administratif fédéral fixe les dépens sur la base du décompte de prestations que les parties doivent lui faire parvenir avant le prononcé et, à défaut de décompte, sur la base du dossier (art. 14 al. 1 et 2 FITAF). Ainsi que cela ressort des art. 10 et 14 FITAF, les honoraires de l'avocat dans les procédures devant le Tribunal administratif fédéral ne se calculent pas en fonction de la valeur litigieuse, mais du temps investi, étant précisé que seul le temps "nécessaire" à la défense de la partie représentée doit être indemnisé (cf. art. 64 al. 1 PA; art. 7 al. 1 et 10 al. 1 FITAF; arrêt 2C_730/2017 du 4 avril 2018 consid. 3.2 et références).
Le Tribunal administratif fédéral dispose d'une certaine marge d'appréciation dans la fixation du montant des dépens, notamment lorsqu'il doit les arrêter sur la base du dossier conformément à l'art. 14 al. 2 FITAF, parce que la partie n'a pas produit de note d'honoraires. Le Tribunal fédéral n'intervient en conséquence que si le Tribunal administratif fédéral a excédé ou abusé de son pouvoir d'appréciation (arrêt 2C_730/2017 du 4 avril 2018 consid. 3.2 et références).
7.2. En l'espèce, il ressort de l'arrêt attaqué que le recourant, représenté par un avocat, a fait valoir des prétentions de 4'000 fr. pour couvrir ses frais, mais sans produire un décompte des prestations de son mandataire devant le Tribunal administratif fédéral. Celui-ci était donc fondé, conformément à l'art. 14 al. 2 FITAF, à statuer sur la base du dossier. Le recourant ne conteste pas ces faits sous l'angle de l'arbitraire et le décompte de prestation produit devant le Tribunal fédéral constitue un fait nouveau irrecevable (cf. supra consid. 2.1).
7.3. Reste à examiner si les précédents juges ont excédé leur pouvoir d'appréciation en fixant, sur la base du dossier le montant des dépens à 700 fr.
7.4. Dans l'arrêt attaqué, l'autorité précédente retient qu"au vu de l'ensemble des circonstances du cas, de l'ampleur du travail accompli par l[e] mandataire, c'est-à-dire un mémoire de recours de huit pages [...] et neuf courriers subséquents de 1 à 4 pages [...], et du fait que l'intéressé n'obtient que partiellement gain de cause, un montant de Fr. 2'000.-, TVA comprise, apparaît comme équitable pour indemniser le travail accompli. Dès lors que le recourant n'obtient que partiellement gain de cause, seul un montant de Fr. 700.- lui sera versé par l'autorité inférieure à titre de dépens réduits."
7.5. En l'occurrence, la présente affaire porte sur une interdiction d'entrée, nécessitant de prendre en compte l'ALCP et, dans une certaine mesure, les besoins spécifiques des gens du voyage. Elle est donc d'une complexité relative. Le travail accompli par le mandataire du recourant n'est pas négligeable. En outre, l'autorité précédente prend non seulement en compte le gain de cause partiel pour déterminer le montant de base de 2'000 fr., mais également pour fixer sur cette base les dépens alloués de 700 fr. Dans ces circonstances et en particulier en raison de la double prise en considération du gain de cause partiel, le montant de 700 fr. est arbitrairement bas.
Il se justifie partant d'admettre le recours sur ce point
8.
8.1. Les considérants qui précèdent conduisent à l'admission (très) partielle du recours, en ce sens que l'arrêt entrepris est annulé en tant qu'il porte sur les dépens alloués (ch. 4 du dispositif). L'arrêt attaqué est confirmé pour le reste. La cause est renvoyée au Tribunal administratif fédéral, afin qu'il se prononce à nouveau sur l'indemnité de dépens à verser au recourant.
8.2. Le recours étant partiellement rejeté, des frais judiciaires réduits sont mis à la charge du recourant (art. 66 al. 1 LTF). En tant qu'il succombe partiellement, le Secrétariat d'Etat aux migrations sera condamné à verser au recourant des dépens réduits (art. 68 al. 1 LTF), aucun frais n'étant mis à la charge de cette autorité et aucun dépens ne lui étant alloué (art. 66 al. 4 et 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le chiffre 4 du dispositif de l'arrêt du Tribunal administratif fédéral du 28 juillet 2021 est annulé. Le recours est rejeté pour le surplus. La cause est renvoyée à cette autorité pour nouvelle décision dans le sens des considérants.
2.
Des frais judiciaires réduits, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le Secrétariat d'Etat aux migrations versera au recourant une indemnité de 1'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour VI.
Lausanne, le 4 mars 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
Le Greffier : A. de Chambrier