Considérant en fait et en droit :
1.
A._, ressortissant français, a fait l'objet d'une décision d'interdiction d'entrée en Suisse et au Liechtenstein d'une durée de 7 ans, valable du 30 juin 2020 au 29 juin 2027, prononcée par le Secrétariat d'Etat aux migrations le 24 mars 2020 et retirant l'effet suspensif à un recours.
L'intéressé a recouru le 1er février 2021 contre cette décision auprès du Tribunal administratif fédéral, en joignant à son recours une demande de restitution d'effet suspensif.
Le juge instructeur a, par décision incidente du 1er avril 2021, rejeté cette demande.
2.
Par acte de recours intitulé "recours de droit public", A._ recourt contre la décision incidente précitée auprès du Tribunal fédéral en concluant, sous suite de frais et dépens, à la réforme de celle-ci en ce sens que l'effet suspensif au recours déposé le 1er février 2021 est restitué. Subsidiairement, il demande l'annulation de la décision querellée et le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Il n'a pas été ordonné d'échange d'écritures.
3.
3.1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-law>; cf. <ref-ruling> consid. 1 p. 476 et les arrêts cités).
3.2. La décision entreprise ne met pas fin au litige, mais refuse d'accorder au recourant l'effet suspensif à son recours. Il s'agit donc d'une décision incidente (arrêt 2C_923/2020 du 3 décembre 2020 consid. 3.1). Sous réserve des cas visés par l'<ref-law> non réalisés en l'espèce, les décisions incidentes qui sont notifiées séparément ne peuvent, aux termes de l'<ref-law>, faire l'objet d'un recours immédiat au Tribunal fédéral que si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale permettant d'éviter une procédure probatoire longue et coûteuse (let. b). Cette dernière hypothèse étant d'emblée exclue, la recevabilité du présent recours est subordonnée à la condition que la décision attaquée soit susceptible de causer un préjudice irréparable.
Un préjudice irréparable au sens de l'<ref-law> est un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 1.1.3; <ref-ruling> consid. 2.2; <ref-ruling> consid. 3.6 et la référence).
En l'occurrence, le recourant invoque la présence en Suisse de ses trois enfants, dont deux sont encore mineurs. La décision d'interdiction d'entrée, qui l'empêche de se rendre en Suisse auprès d'eux, est donc susceptible de lui causer un préjudice irréparable, sous l'angle du droit au respect de la vie familiale garanti par l'art. 8 CEDH. La décision incidente attaquée est donc sujette à recours au Tribunal fédéral.
3.3. La voie de recours contre une décision incidente est déterminée par le litige principal (cf. <ref-ruling> consid. 1.4; arrêt 2C_637/2020 du 14 octobre 2020 consid. 4.2). En l'espèce, la procédure qui a mené à la décision du 1er avril 2021 a pour toile de fond une interdiction d'entrée en Suisse et au Liechtenstein.
Selon l'art. 83 let. c ch. 1 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent l'entrée en Suisse, soit notamment les décisions d'interdiction d'entrée. Cette exception ne s'applique toutefois pas dans le cas présent en vertu de l'obligation pour la Suisse prévue à l'art. 11 par. 1 et 3 ALCP (RS 0.142.112.681) d'instaurer un double degré de juridiction contre de telles décisions lorsqu'elles visent un ressortissant d'un Etat membre de l'Union européenne (cf. arrêt 2C_135/2017 du 21 février 2017 consid. 5 et références). La voie du recours en matière de droit public est ainsi ouverte.
3.4. Le recours a par ailleurs été déposé dans le délai (cf. art. 46. al. 2 et 100 al. 1 LTF) et dans les formes (<ref-law>) prescrits par la loi, à l'encontre d'une décision rendue par le Tribunal administratif fédéral (cf. <ref-law>), de sorte qu'il est recevable. Le recours remplissant les exigences légales de la voie de droit qui lui est ouverte, la désignation erronée du recours, intitulé "recours de droit public", sera sans conséquences pour l'intéressé (<ref-ruling> consid. 1.1).
4.
La décision attaquée statuant sur une requête d'effet suspensif est une décision qui porte sur des mesures provisionnelles au sens de l'<ref-law>, en sorte que le recourant ne peut dénoncer que la violation de ses droits constitutionnels (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5), moyen qu'il est tenu de motiver conformément aux exigences accrues de l'<ref-law> (cf. <ref-ruling> consid. 1.7.2; arrêt 2C_637/2020 du 14 octobre 2020 consid. 5).
5.
Lorsqu'une autorité judiciaire se prononce sur l'effet ou d'autres mesures provisoires, elle peut se limiter à la vraisemblance des faits et à l'examen sommaire du droit (examen prima facie), en se fondant sur les moyens de preuve immédiatement disponibles, tout en ayant l'obligation de peser les intérêts respectifs des parties. La restitution de l'effet suspensif est subordonnée à l'existence de justes motifs, qui résident dans un intérêt public ou privé prépondérant à l'inexécution immédiate de la décision. L'autorité dispose à cet égard d'un large pouvoir d'appréciation et peut tenir compte de l'issue prévisible de la procédure au fond, pour autant que celle-ci soit claire. Le Tribunal fédéral n'examine qu'avec retenue l'appréciation à laquelle a procédé l'instance précédente. Il n'annule une décision sur mesures provisionnelles que si la pesée des intérêts à son origine est dépourvue de justification adéquate et ne peut être suivie, soit en définitive si elle paraît insoutenable (arrêt 2C_637/2020 du 14 octobre 2020 consid. 6 et références).
6.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (sur cette notion, cf. <ref-ruling> consid. 6), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que le recourant doit démontrer (<ref-law>).
En l'espèce, le recourant semble s'en prendre aux faits retenus par l'autorité précédente lorsqu'il lui reproche d'avoir estimé "de façon totalement arbitraire, que le recourant paraît très vraisemblablement résider en France voisine, dès lors que les enfants ne sont pas autorisés à déménager dans un endroit qui se situerait à plus de 30 minutes de voiture de Blonay et qu'au vu de l'âge des enfants, il est raisonnablement exigible qu'ils accomplissent seuls un tel trajet". Le recourant n'explique pas en quoi cette appréciation serait insoutenable.
Dans la mesure où il entend s'en prendre à l'appréciation des preuves et à l'établissement des faits, son grief ne répond pas aux exigences de motivation accrues de l'<ref-law> et n'a pas à être traité.
7.
Le recourant se plaint d'une application arbitraire de la LEI (RS 142.20) et de l'ALCP.
Le recourant n'étaye aucunement ses allégations concernant la LEI. Il n'établit pas en quoi l'autorité précédente aurait appliqué de façon insoutenable l'ALCP et, en particulier, l'art. 5 al. 1 annexe I de cet accord, ni en quoi elle aurait versé dans l'arbitraire en concluant, à la suite d'un examen prima facie du dossier, que la mesure d'éloignement prononcée n'était pas manifestement infondée. Le grief d'arbitraire dans l'application de la LEI et de l'ALCP, insuffisamment motivé (art. 42 al. 2 et 106 al. 2 LTF), doit partant être écarté.
8.
Le recourant invoque également une violation de l'art. 8 CEDH sous l'angle de la garantie du droit à la vie familiale. Il allègue que le refus de restituer l'effet suspensif aboutirait à une rupture totale des liens familiaux qu'il entretient avec ses enfants et l'empêcherait d'exercer la garde partagée sur ceux-ci.
L'autorité précédente a retenu que le recourant résidait vraisemblablement en France voisine. Le recourant n'a pas contesté valablement ce fait sous l'angle de l'arbitraire (cf. supra consid. 6). Dans ces circonstances, vu l'âge des enfants mineurs concernés (14, 16 et 18 ans), l'autorité précédente pouvait de façon soutenable considérer que l'exercice des droits de garde n'était pas rendu impossible par la présence du recourant dans ce pays (concernant la possibilité d'exercer un droit de visite depuis l'étranger, cf. <ref-ruling> consid. 5.2.3). Par ailleurs, si le recourant devait résider en Ouganda, comme il l'a prétendu devant l'autorité précédente, il pourrait difficilement, sans verser dans la témérité, se prévaloir d'une garde alternée sur ses enfants domiciliés en Suisse.
9.
Enfin, le Tribunal administratif fédéral a procédé à une pesée correcte des intérêts en présence dans ce stade de procédure. L'arrêt attaqué ne prête ainsi pas le flanc à la critique en tant qu'il refuse d'octroyer l'effet suspensif au recours et il peut y être renvoyé pour le surplus (<ref-law>).
10.
Les considérants qui précèdent conduisent au rejet du recours, en application de la procédure de l'<ref-law>. Succombant, le recourant supportera les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).


Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour VI.
Lausanne, le 16 juin 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier