Faits :
A.
Le 18 avril 2019, le Chef du Département fédéral des finances a autorisé l'Administration fédérale des contributions (AFC) à mener une enquête fiscale spéciale contre B.B._, C.B._ et A._ en raison de soupçons de graves infractions fiscales au sens des art. 190 ss de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 (LIFD; RS 642.11).
B.
B.a. Les 19 et 20 février 2020, une perquisition a été effectuée par l'AFC dans les locaux de la banque D._ SA, à Genève.
Celle-ci était détenue par un membre de la famille B._, dont font partie B.B._ et C.B._, eux-mêmes ayant été administrateurs de la banque respectivement jusqu'au 15 novembre 2018 et 17 octobre 2014. A._, qui exerçait diverses activités pour le compte de la famille B._ ainsi que pour des sociétés détenues par cette dernière, disposait pour sa part d'une boîte de messagerie électronique professionnelle liée à la banque D._ SA.
La banque D._ SA s'étant opposée à la perquisition, l'intégralité des données saisies a été mise sous scellés (cf. art. 50 al. 3 de la loi fédérale du 22 mars 1974 sur le droit pénal administratif [DPA; RS 313.0]).
B.b. Par courrier du 28 février 2020, la banque D._ SA a informé A._ que les données contenues dans sa boîte de messagerie électronique professionnelle avaient été saisies lors de la perquisition menée les 19 et 20 février 2020.
Après que, le 9 mars 2020, A._ avait requis de l'AFC la mise sous scellés de " l'intégralité des données saisies ", l'AFC lui a demandé, le même jour, de motiver sa requête sous l'angle d'un " éventuel intérêt juridiquement protégé au maintien du secret sur les données saisies ".
Le 16 mars 2020, A._ a précisé que sa requête de mise sous scellés portait exclusivement sur les données le concernant personnellement, soit en particulier sur celles provenant de sa boîte de messagerie électronique. A cet égard, il a expliqué qu'à son souvenir, il avait utilisé celle-ci pour des messages privés avec des avocats ou des médecins.
Le 2 avril 2020, l'AFC a indiqué à A._ que les données en question ne seraient pas exploitées jusqu'à droit connu sur sa requête de mise sous scellés.
B.c. Par décision du 8 mai 2020, l'AFC a refusé de donner suite à la requête de A._ du 9 mars 2020.
En substance, elle a considéré que le précité n'était pas légitimé à requérir la mise sous scellés des données saisies auprès de la banque D._ SA, dès lors qu'il n'en était pas détenteur et qu'il n'avait fait valoir, de manière suffisamment motivée, aucun intérêt juridiquement protégé au maintien d'un secret.
B.d. Saisie d'une plainte (art. 26 DPA) formée le 14 mai 2020 par A._ contre la décision du 8 mai 2020, la Cour des plaintes du Tribunal pénal fédéral (ci-après: la Cour des plaintes) a admis à titre superprovisoire, le 22 mai 2020, la requête d'effet suspensif assortie à la plainte.
La plainte a été rejetée par décision du 28 juillet 2020 de la Cour des plaintes.
C.
Par acte du 31 août 2020, A._ forme un recours en matière pénale au Tribunal fédéral contre la décision du 28 juillet 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que sa plainte contre la décision du 8 mai 2020 est admise et que l'AFC est invitée à mettre sous scellés toutes les données qui le concernent personnellement, notamment toutes les données provenant de sa boîte de messagerie électronique. Subsidiairement, il conclut à l'annulation de la décision du 28 juillet 2020 et au renvoi de la cause à la Cour des plaintes pour nouvelle décision dans le sens des considérants.
L'AFC conclut au rejet du recours. La Cour des plaintes renonce pour sa part à présenter des observations.
Par acte du 19 octobre 2020, A._ persiste dans ses conclusions.
D.
Par ordonnance du 25 septembre 2020, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif assortie au recours.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision de la Cour des plaintes du Tribunal pénal fédéral, qui porte sur la mise sous scellés de données saisies lors d'une perquisition au sens de l'art. 50 DPA, soit dès lors sur des mesures de contrainte au sens de l'art. 79 LTF, de sorte que cette décision est susceptible de faire l'objet d'un recours en matière pénale au Tribunal fédéral (<ref-ruling> consid. 1.3 p. 248; arrêt 1B_71/2019 du 3 juillet 2019 consid. 1, non publié aux <ref-ruling>).
1.2. Ne mettant pas un terme à la procédure pénale administrative dirigée notamment contre le recourant, la décision attaquée est de nature incidente. Le recours au Tribunal fédéral n'est donc en principe recevable qu'en présence d'un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF. En matière pénale, la notion de préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF se rapporte à un dommage de nature juridique qui ne puisse pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 1.3.1 p. 130).
Il ressort en l'espèce de la décision attaquée que, nonobstant le refus de l'AFC de donner suite à la requête du recourant du 9 mars 2020 tendant à la mise sous scellés des données de sa messagerie électronique, l'intégralité des données saisies lors de la perquisition des 19 et 20 février 2020, y compris celles concernant le recourant, sont néanmoins actuellement placées sous scellés par suite de l'opposition à la perquisition formée par la banque précitée (cf. décision attaquée, ad " Faits ", let. B p. 2; dossier de la Cour des plaintes, act. 2.3 et 2.4), ce que l'AFC a également confirmé dans ses déterminations du 22 septembre 2020 (cf. ch. III/1 p. 3). Il n'y a, dans ce contexte, rien d'évident à considérer que la décision attaquée soit propre à causer un préjudice au recourant.
De surcroît, le recourant ne prend pas de conclusions tendant à ce qu'il soit admis à participer à la procédure de levée de scellés qui pourrait avoir été initiée par l'AFC. Il ne prétend d'ailleurs pas non plus avoir formellement sollicité de la Cour des plaintes de pouvoir, le cas échéant, participer à cette procédure, ni en avoir indûment été écarté. Il n'apparaît dès lors pas que la décision attaquée revête un caractère définitif quant au maintien des scellés actuellement apposés sur les données litigieuses.
1.3. Il s'ensuit qu'à défaut pour le recourant de pouvoir valablement se prévaloir d'un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF, son recours est irrecevable.
2.
Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fédérale des contributions et au Tribunal pénal fédéral, Cour des plaintes.
Lausanne, le 14 janvier 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Tinguely