Faits :
A.
A.a. A._, ressortissant français né en 1983, est arrivé en Suisse le 8 septembre 2013. Une autorisation de séjour UE/AELE lui a alors été délivrée. Le 26 août 2016, le Service de la population et des migrations du canton du Valais (ci-après: le Service des migrations) a révoqué cette autorisation, au motif que l'intéressé avait été condamné pénalement à plusieurs reprises (en France, au Luxembourg et en Suisse), notamment pour contrebande de marchandises (tabac), tentative d'escroquerie, induction de la justice en erreur et abus de confiance, et que sa situation financière était obérée.
Par arrêt du 23 mars 2021, le Tribunal fédéral (cause 2C_47/2021) a confirmé, en dernière instance, le refus d'entrer en matière sur une demande de A._ tendant à la reconsidération de la décision du 26 août 2016 du Service des migrations.
A.b. Le Secrétariat d'Etat aux migrations a, par décision du 24 novembre 2016, prononcé à l'encontre de l'intéressé une interdiction d'entrée en Suisse et au Liechtenstein d'une durée de sept ans valable dès cette date et jusqu'au 23 novembre 2023. Il a retenu que A._ représentait une menace actuelle et grave pour l'ordre et la sécurité publics et qu'aucun pronostic favorable de nature à écarter le risque de récidive ne pouvait être émis, compte tenu du caractère répété et de la gravité des infractions commises par le prénommé.
L'intéressé, qui avait omis de s'acquitter de l'avance de frais devant le Tribunal administratif fédéral, a porté cette affaire en vain au Tribunal fédéral (cause 2C_107/2019).
A.c. Le Secrétariat d'Etat aux migrations a, en date du 30 décembre 2019, rejeté la demande de réexamen de la décision d'interdiction d'entrée du 24 novembre 2016. Il a retenu que les éléments invoqués (en particulier le comportement de A._ depuis sa dernière condamnation pénale, le remboursement d'une partie de ses dettes et sa volonté de s'établir avec sa compagne et leurs deux enfants en Suisse, pays où il possédait un bien immobilier et avait créé une entreprise), s'ils étaient certes nouveaux, n'étaient pas suffisamment importants pour remettre en cause l'interdiction d'entrée qui avait été prononcée à son endroit.
B.
Par arrêt du 26 mai 2021, le Tribunal administratif fédéral a rejeté le recours de A._ à l'encontre de la décision du 30 décembre 2019 du Secrétariat d'Etat aux migrations rejetant la demande de reconsidération de l'interdiction d'entrée. Il a en substance considéré que le comportement de celui-ci, depuis le prononcé de l'interdiction d'entrée, ne représentait pas un changement de circonstances impliquant un réexamen: s'il n'avait plus été condamné pénalement, aucun élément n'indiquait que sa situation professionnelle et financière s'était améliorée au point de le dissuader de commettre de nouvelles infractions contre le patrimoine, infractions qui lui avaient valu la mesure d'éloignement en cause; de plus, tout portait à croire que A._ n'avait pas quitté la Suisse immédiatement après la fin de son séjour légal.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision du 26 mai 2021 du Tribunal administratif fédéral, de le mettre au bénéfice d'un droit d'entrée en Suisse, ainsi que d'un permis de séjour UE/AELE; subsidiairement, de renvoyer la cause au Tribunal administratif fédéral pour une nouvelle décision dans le sens des considérants.
Le Secrétariat d'Etat aux migrations conclut au rejet du recours. Le Tribunal administratif fédéral a expressément renoncé à déposer des observations.
A._ s'est encore prononcé par écriture du 23 septembre 2021.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (cf. <ref-law>). Il contrôle donc librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1).
1.1. Selon l'art. 83 let. c ch. 1 LTF, le recours en matière de droit public est irrecevable contre les décisions relevant du droit des étrangers qui concernent l'entrée en Suisse, à savoir notamment les décisions d'interdiction d'entrée fondées, comme en l'espèce, sur l'art. 67 LEI (RS 142.20).
Cette exception ne s'applique toutefois pas dans les cas concernant les ressortissants d'un Etat membre de l'Union européenne, en vertu de l'obligation pour la Suisse prévue à l'art. 11 par. 1 et 3 ALCP (RS 0.142.112.681) d'instaurer un double degré de juridiction contre ce type de décisions lorsqu'elles visent un tel ressortissant (<ref-ruling> consid. 1, rendu sous l'OJ et toujours valable sous la LTF: arrêt 2C_318/2012 du 22 février 2013 consid. 1.1, non publié in <ref-ruling>). Dans ce cas, le Tribunal fédéral se fonde directement sur l'art. 11 par. 1 et 3 ALCP.
Le présent recours, qui porte sur un arrêt du Tribunal administratif fédéral rendu à la suite d'une décision, en première instance, du Secrétariat d'Etat aux migrations, échappe donc à la clause d'irrecevabilité prévue à l'art. 83 let. c ch. 1 LTF.
1.2. L'objet de la contestation, circonscrit par l'arrêt attaqué, a trait au réexamen de l'interdiction d'entrée en Suisse prononcée à l'encontre du recourant pour une durée de sept ans. Le recours ne peut donc porter que sur le bien-fondé de ce refus. La décision de révocation de l'autorisation de séjour UE/AELE ne fait pas partie de cet objet: elle est entrée en force avec l'arrêt du 24 novembre 2020 du Tribunal cantonal du canton du Valais, puisque l'effet suspensif (cf. <ref-law>) n'avait pas été requis lors de la procédure subséquente devant le Tribunal fédéral (ayant abouti à l'arrêt du 23 mars 2021). L'octroi d'une autorisation de séjour UE/AELE n'en fait pas non plus partie. Partant, la conclusion tendant à un tel octroi est irrecevable.
1.3. Les autres conditions de recevabilité des art. 42 et 82 ss LTF sont réunies, de sorte qu'il y a lieu d'entrer en matière.
2.
Comme susmentionné, le litige porte sur le point de savoir si l'instance précédente a, à bon droit, retenu que les conditions du réexamen n'étaient pas remplies et, partant, qu'il n'était pas possible de se pencher à nouveau sur la décision retenant que le recourant présente une menace grave pour la sécurité et l'ordre publics, justifiant le prononcé d'une interdiction d'entrée de sept ans à son égard.
3.
3.1. Le Tribunal fédéral conduit son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de manière manifestement inexacte, à savoir de façon arbitraire (art. 9 Cst.; cf. <ref-ruling> consid. 1.3.1) ou en violation du droit (<ref-law>) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). La partie recourante doit démontrer dans son mémoire que ces conditions sont réalisées. Il lui incombe d'exposer, de manière circonstanciée (cf. <ref-law>), que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2; <ref-ruling> consid. 5.1). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1).
3.2. La motivation du mémoire ne satisfait pas aux exigences susmentionnées. Dans son recours, l'intéressé conteste l'établissement des faits comme il le ferait en procédure d'appel. Il en présente sa propre version, sans démontrer ni même prétendre que les faits tels qu'établis par les juges précédents l'auraient été de manière manifestement inexacte ou arbitraire. Il en va notamment ainsi du montant du revenu du recourant, du fait qu'il vit en Valais avec sa compagne et de ses deux enfants et qu'il est établi en Suisse depuis huit ans. Il est d'ailleurs particulièrement piquant de lire que le recourant se targue de s'être "constitué, après le prononcé de la décision d'interdiction d'entrée du 24 novembre 2016, une situation professionnelle et financière stable et durable en Suisse de nature à le dissuader de commettre de nouvelles infractions contre le patrimoine".
En conclusion, il ne sera pas entré en matière sur le grief relatif à la constatation manifestement inexacte des faits.
4.
4.1. Le recourant invoque une violation des art. 1 et 3 ALCP, 5 et 96 LEI, ainsi que 8 CEDH. Il avance, pour l'essentiel, qu'il n'a plus été condamné pénalement depuis 2015, que les infractions qu'il a commises sont peu graves et ne justifient pas de faire passer l'intérêt public à son éloignement avant son intérêt privé à demeurer en Suisse; il souligne également qu'il a un revenu régulier, qu'il n'émarge pas à l'aide sociale et reproche aux juges précédents de n'avoir pas tenu compte de son intégration dans notre pays et de sa situation personnelle (sa famille y vivrait), ainsi que du fait qu'il a réduit le montant de ses dettes; compte tenu de ces éléments, la confirmation de la révocation de son autorisation de séjour UE/AELE ne serait pas justifiée et l'arrêt de l'autorité précédente confirmant l'interdiction d'entrée violerait le principe de proportionnalité, ainsi que son droit à une vie familiale découlant de l'art. 8 CEDH.
4.2. Avec une telle argumentation, l'intéressé démontre qu'il n'a pas compris, d'une part, que le litige ne concerne pas l'impossibilité pour lui de séjourner durablement en Suisse, qui est la conséquence de la révocation de son autorisation de séjour UE/AELE respectivement du refus de reconsidérer cette révocation, confirmé en dernière instance par le Tribunal fédéral dans son arrêt 2C_47/2021 du 23 mars 2021. En effet, le recourant concentre ses griefs sur cette révocation et tente de remettre en question l'examen des circonstances et la pesée des intérêts qui ont motivé la décision du 26 août 2016, ainsi que sur un prétendu droit d'entrée en Suisse. Certes, l'arrêt attaqué a pu l'induire en erreur, en retenant que la naissance de ses enfants en 2016 respectivement 2018 ne constituait plus un fait nouveau et que l'intéressé n'avait pas établi que sa compagne avait obtenu une autorisation de séjour UE/AELE ce qui aurait pu constituer un changement de circonstances impliquant un réexamen. En effet, ces éléments ne sont pas pertinents pour juger, à l'aune des conditions posées pour le réexamen d'une décision, si le recourant représente une menace grave pour la sécurité et l'ordre publics, seul élément pertinent in casu (cf. art. 67 al. 3 LEI).
D'autre part, l'intéressé démontre méconnaître qu'est en cause le réexamen de l'interdiction d'entrée prise à son égard. Lorsque, comme en l'espèce, l'autorité saisie d'une demande de réexamen refuse d'entrer en matière, un recours ne peut porter que sur le bien-fondé de ce refus (<ref-ruling> consid. 3c; arrêt 2C_47/2021 du 23 mars 2021 consid. 4). Ainsi, les seules dispositions dont la violation pouvait être invoquée sont les <ref-law> (les règles sur la révision valant pour le réexamen) et 29 al. 2 Cst. D'ailleurs, l'arrêt attaqué les mentionne et expose en détail la jurisprudence y relative. Or, l'intéressé ne les cite pas dans son écriture pas plus qu'il ne se réfère à l'art. 67 al. 3 LEI, en application duquel l'interdiction d'entrée a été décidée, ni à l'<ref-law> déterminant quant aux notions d'ordre et de sécurité publics (<ref-ruling> consid. 5.3); il ne prétend d'ailleurs même pas que l'autorité précédente aurait conclu à tort à l'inexistence d'un motif de réexamen au sens de ces dispositions. Il avance tout au plus qu'il aurait changé de comportement. Néanmoins, il suffit à cet égard de constater qu'il allègue dans son mémoire qu'il aurait développé "une vie économique et financière stable et fondé une famille en Suisse", qu'il s'est "constitué, après le prononcé de la décision d'interdiction d'entrée du 24 novembre 2016, une situation professionnelle et financière stable et durable en Suisse de nature à le dissuader de commettre de nouvelles infractions contre le patrimoine" et qu'il "sert les intérêts sociaux et économiques de la Suisse depuis au moins cinq ans sans encombre", pour constater qu'il ne s'est pas conformé à son obligation de quitter notre pays. Cet élément suffit à nier un changement de comportement, puisqu'un tel changement doit commencer par le respect des décisions prononcées, impliquant une modification notable des circonstances.
5.
Il découle de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour VI, ainsi qu'au Service de la population et des migrations du canton du Valais.
Lausanne, le 23 novembre 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon