Considérant en fait et en droit :
1.
Par décision du 6 novembre 2020, l'Administration fédérale des contributions a accordé aux autorités compétentes françaises l'assistance administrative concernant A._. Cette décision a été adressée au conseil de celui-ci par courrier A Plus, le numéro de suivi de l'envoi (Track & Trace) indiquant une distribution le samedi 7 novembre 2020.
Le 8 décembre 2020, A._ a recouru contre cette décision auprès du Tribunal administratif fédéral.
Après avoir donné l'occasion à A._ de se déterminer sur la tardiveté apparente de son recours, le Tribunal administratif fédéral, par arrêt du 5 janvier 2021, a déclaré le recours irrecevable.
2.
Contre l'arrêt du 5 janvier 2021, A._ dépose un "recours" au Tribunal fédéral, dans lequel il conclut à son admission et à la réforme de l'arrêt attaqué en ce sens qu'il est constaté que le recours adressé au Tribunal administratif fédéral le 8 décembre 2020 l'a été en temps utile, le dossier étant renvoyé à l'autorité inférieure pour instruction et décision finale. A titre subsidiaire, il demande l'annulation de l'arrêt du 5 janvier 2021 et le renvoi à l'autorité inférieure dans le sens des considérants. A titre préalable, il requiert l'effet suspensif.
Il n'a pas été ordonné d'échange d'écritures.
3.
Le recourant ne qualifie pas son recours. Cette imprécision ne saurait lui nuire, si l'acte déposé remplit les exigences de la voie de droit qui est ouverte dans le cas d'espèce (<ref-ruling> consid. 1.1 p. 370).
3.1. Emanant du Tribunal administratif fédéral, le recours constitutionnel subsidiaire est d'emblée exclu (<ref-law> a contrario).
3.2. Selon l'art. 83 let. h LTF, le recours en matière de droit public est irrecevable contre les décisions en matière d'entraide administrative internationale, à l'exception de l'assistance administrative en matière fiscale. Il découle de l'<ref-law> que, dans ce dernier domaine, le recours n'est recevable que lorsqu'une question juridique de principe se pose ou lorsqu'il s'agit, pour d'autres motifs, d'un cas particulièrement important au sens de l'<ref-law> (cf. sur ces notions, <ref-ruling> consid. 4 p. 342 s.; 404 consid. 1.3 p. 409 s.). Il appartient au recourant de démontrer de manière suffisante en quoi ces conditions sont réunies (<ref-law>; <ref-ruling> consid. 1.4 p. 106 s.; <ref-ruling> consid. 4 p. 342; 404 consid. 1.3 p. 410), à moins que tel ne soit manifestement le cas (arrêt 2C_594/2015 du 1er mars 2016 consid. 1.2 non publié in <ref-ruling>, mais in Pra 2016/60 p. 574 et in RDAF 2016 II 50).
4.

Le recourant conteste l'application de la pratique citée dans l'arrêt attaqué concernant la notification par courrier A Plus en matière d'assistance administrative internationale en matière fiscale. Il soutient qu'en ce domaine devrait prévaloir, en application des articles 31 al. 2 et 31a al. 2 DPA, ainsi que 6 CEDH, la jurisprudence pénale rendue en lien avec l'<ref-law> qui considère que le délai ne peut commencer à courir que si le destinataire a effectivement pris connaissance du prononcé. Savoir si cette garantie pénale s'applique en matière d'assistance administrative revêtirait les caractéristiques d'une question juridique de principe.
La position exprimée par le recourant ne relève à l'évidence pas de l'<ref-law>. L'arrêt attaqué déclare le recours irrecevable en raison du non-respect des règles posées par la jurisprudence sur le calcul des délais concernant les envois par courrier A Plus. Il s'agit d'une simple décision procédurale, rendue en application de règles jurisprudentielles qui devraient être connues de tout professionnel du droit (cf. notamment <ref-ruling> consid. 2.2 p. 601 s; s'agissant des décisions notifiées un samedi : arrêts 2C_463/2019 du 8 juin 2020 consid. 1.3; 2C_476/2018 du 4 juin 2018 consid. 1.1). La mise en oeuvre de ces règles ne soulève en tant que telle pas de question juridique de principe dans le cas d'espèce. Il ne suffit pas de remettre en cause la jurisprudence précitée, en faisant une analogie avec des règles spécifiques à une autre procédure (en l'occurrence pénale), pour que cela suffise à justifier une entrée en matière en application de l'<ref-law>. Il faudrait à tout le moins que le recourant démontre avec une certaine vraisemblance pourquoi il se justifierait de s'interroger sur l'application des règles spécifiques régissant la notification des prononcés émanant des autorités pénales à la notification d'une décision rendue par une autorité fiscale suisse et destinée en premier lieu à une autre autorité fiscale, en dehors de toute procédure pénale. Le recours ne contient aucun développement probant en ce sens.
L'entrée en matière en vertu de l'<ref-law> ne se justifie donc pas.
Dans ces circonstances, le recours, considéré comme un recours en matière de droit public (<ref-law>), est aussi irrecevable.
5.
Compte tenu de l'issue du litige, la demande tendant à la constatation de l'effet suspensif au recours est sans objet, à supposer que le recourant ait eu un intérêt à faire constater une conséquence juridique prévue par l'art. 103 al. 2 let. d LTF (arrêt 2C_1046/2019 du 23 décembre 2019 consid. 5 et l'arrêt cité).
6.
Succombant, le recourant doit supporter les frais de justice devant le Tribunal fédéral (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fédérale des contributions, Service d'échange d'informations en matière fiscale SEI, et au Tribunal administratif fédéral, Cour I.
Lausanne, le 22 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens