Considérant en fait et en droit :
1.
Par décision du 6 novembre 2020, l'Administration fédérale des contributions a accordé aux autorités compétentes françaises l'assistance administrative concernant A._. Cette décision a été adressée au conseil de celui-ci par courrier A Plus, le numéro de suivi de l'envoi (Track & Trace) indiquant une distribution le samedi 7 novembre 2020.
Le 8 décembre 2020, A._ a recouru contre cette décision auprès du Tribunal administratif fédéral.
Après avoir donné l'occasion à A._ de se déterminer sur la tardiveté apparente de son recours, le Tribunal administratif fédéral, par arrêt du 5 janvier 2021, a déclaré le recours irrecevable.
2.
Contre l'arrêt du 5 janvier 2021, A._ dépose un "recours" au Tribunal fédéral, dans lequel il conclut à son admission et à la réforme de l'arrêt attaqué en ce sens qu'il est constaté que le recours adressé au Tribunal administratif fédéral le 8 décembre 2020 l'a été en temps utile, le dossier étant renvoyé à l'autorité inférieure pour instruction et décision finale. A titre subsidiaire, il demande l'annulation de l'arrêt du 5 janvier 2021 et le renvoi à l'autorité inférieure dans le sens des considérants. A titre préalable, il requiert l'effet suspensif.
Il n'a pas été ordonné d'échange d'écritures.
3.
Le recourant ne qualifie pas son recours. Cette imprécision ne saurait lui nuire, si l'acte déposé remplit les exigences de la voie de droit qui est ouverte dans le cas d'espèce (ATF 138 I 367 consid. 1.1 p. 370).
3.1. Emanant du Tribunal administratif fédéral, le recours constitutionnel subsidiaire est d'emblée exclu (art. 113 LTF a contrario).
3.2. Selon l'art. 83 let. h LTF, le recours en matière de droit public est irrecevable contre les décisions en matière d'entraide administrative internationale, à l'exception de l'assistance administrative en matière fiscale. Il découle de l'art. 84a LTF que, dans ce dernier domaine, le recours n'est recevable que lorsqu'une question juridique de principe se pose ou lorsqu'il s'agit, pour d'autres motifs, d'un cas particulièrement important au sens de l'art. 84 al. 2 LTF (cf. sur ces notions, ATF 139 II 340 consid. 4 p. 342 s.; 404 consid. 1.3 p. 409 s.). Il appartient au recourant de démontrer de manière suffisante en quoi ces conditions sont réunies (art. 42 al. 2 LTF; ATF 145 IV 99 consid. 1.4 p. 106 s.; 139 II 340 consid. 4 p. 342; 404 consid. 1.3 p. 410), à moins que tel ne soit manifestement le cas (arrêt 2C_594/2015 du 1er mars 2016 consid. 1.2 non publié in ATF 142 II 69, mais in Pra 2016/60 p. 574 et in RDAF 2016 II 50).
4.
Le recourant conteste l'application de la pratique citée dans l'arrêt attaqué concernant la notification par courrier A Plus en matière d'assistance administrative internationale en matière fiscale. Il soutient qu'en ce domaine devrait prévaloir, en application des articles 31 al. 2 et 31a al. 2 DPA, ainsi que 6 CEDH, la jurisprudence pénale rendue en lien avec l'art. 85 al. 2 CPP qui considère que le délai ne peut commencer à courir que si le destinataire a effectivement pris connaissance du prononcé. Savoir si cette garantie pénale s'applique en matière d'assistance administrative revêtirait les caractéristiques d'une question juridique de principe.
La position exprimée par le recourant ne relève à l'évidence pas de l'art. 84a LTF. L'arrêt attaqué déclare le recours irrecevable en raison du non-respect des règles posées par la jurisprudence sur le calcul des délais concernant les envois par courrier A Plus. Il s'agit d'une simple décision procédurale, rendue en application de règles jurisprudentielles qui devraient être connues de tout professionnel du droit (cf. notamment ATF 142 III 599 consid. 2.2 p. 601 s; s'agissant des décisions notifiées un samedi : arrêts 2C_463/2019 du 8 juin 2020 consid. 1.3; 2C_476/2018 du 4 juin 2018 consid. 1.1). La mise en oeuvre de ces règles ne soulève en tant que telle pas de question juridique de principe dans le cas d'espèce. Il ne suffit pas de remettre en cause la jurisprudence précitée, en faisant une analogie avec des règles spécifiques à une autre procédure (en l'occurrence pénale), pour que cela suffise à justifier une entrée en matière en application de l'art. 84a LTF. Il faudrait à tout le moins que le recourant démontre avec une certaine vraisemblance pourquoi il se justifierait de s'interroger sur l'application des règles spécifiques régissant la notification des prononcés émanant des autorités pénales à la notification d'une décision rendue par une autorité fiscale suisse et destinée en premier lieu à une autre autorité fiscale, en dehors de toute procédure pénale. Le recours ne contient aucun développement probant en ce sens.
L'entrée en matière en vertu de l'art. 84a LTF ne se justifie donc pas.
Dans ces circonstances, le recours, considéré comme un recours en matière de droit public (art. 107 al. 3 LTF), est aussi irrecevable.
5.
Compte tenu de l'issue du litige, la demande tendant à la constatation de l'effet suspensif au recours est sans objet, à supposer que le recourant ait eu un intérêt à faire constater une conséquence juridique prévue par l'art. 103 al. 2 let. d LTF (arrêt 2C_1046/2019 du 23 décembre 2019 consid. 5 et l'arrêt cité).
6.
Succombant, le recourant doit supporter les frais de justice devant le Tribunal fédéral (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fédérale des contributions, Service d'échange d'informations en matière fiscale SEI, et au Tribunal administratif fédéral, Cour I.
Lausanne, le 22 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens