Faits :
A.
Par courrier du 26 avril 2019, A._ a adressé à l'Autorité de surveillance des marchés financiers FINMA (ci-après: FINMA) une dénonciation, afin que cette autorité ouvre une investigation sur les pratiques de la banque B._ SA à Genève. Le recourant, qui n'était pas contractuellement lié à la banque en question, prétendait avoir subi un préjudice moral et financier important du fait d'un défaut d'organisation au sein de celle-ci et d'agissements coupables de ses employés. D'après l'intéressé, ces manquements auraient rendu impossible la récupération d'une somme d'argent qu'il estimait avoir indûment versée à un tiers.
Ce courrier a donné lieu à un échange d'écritures dans le cadre duquel la FINMA a averti A._ qu'elle ne pourrait pas le renseigner sur son appréciation des faits dénoncés, ni sur les éventuelles démarches qu'elle entamerait à la suite de cette dénonciation et, de manière générale, sur le déroulement de la procédure ou son issue, dès lors que la loi fédérale sur la procédure administrative n'accordait pas la qualité de partie, ni de droit d'accès au dossier au dénonciateur.
B.
En date du 26 septembre 2019, A._ a requis de la FINMA le prononcé d'une décision formelle sur sa qualité de partie dans "toute procédure d' enforcement ouverte à l'encontre de la banque B._ AG sur la base des faits relatés dans [s}on courrier du 26 avril 2019" (cf. <ref-law>).
Par décision du 15 octobre 2019, la FINMA a rejeté la requête du recourant visant à l'octroi de la qualité de partie.
Le 15 novembre 2019, le recourant a recouru contre la décision de la FINMA devant le Tribunal administratif fédéral. Il concluait à l'annulation de ladite décision, ainsi qu'à la reconnaissance de sa qualité de partie "dans le cadre de la procédure que la FINMA pourrait ouvrir à l'encontre de la banque B._ SA à Genève".
Par arrêt du 7 décembre 2020, le Tribunal administratif fédéral a rejeté le recours.
C.
A._ (ci-après: le recourant) dépose un recours en matière de droit public auprès du Tribunal fédéral à l'encontre de l'arrêt du Tribunal administratif fédéral précité. Il conclut principalement à l'annulation de l'arrêt attaqué et à la reconnaissance de sa qualité de partie "dans le cadre de la procédure que l'Autorité de surveillance des marchés financiers FINMA a ouverte - ou pourrait ouvrir - à l'encontre de la banque sur la base des faits [qu'il a] dénoncés". Subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause au Tribunal administratif fédéral pour nouvel arrêt dans le sens des considérants.
Le Tribunal administratif fédéral a renoncé à prendre position sur le recours. La FINMA a déposé des observations sur ledit recours, concluant à son rejet.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1).
1.1. Le présent litige concerne l'intervention potentielle du recourant en tant que partie dans une procédure dite d'"enforcement" - soit dans le cadre d'une enquête forcée visant à établir les faits et à imposer le respect des lois sur la surveillance des marchés financiers en cas de soupçons d'irrégularité ou d'abus - que la FINMA pourrait ouvrir, sur dénonciation de l'intéressé, à l'encontre de la banque B._ SA en application de la loi du 22 juin 2007 sur l'Autorité fédérale de surveillance des marchés financiers (loi sur la surveillance des marchés financiers, LFINMA; RS 956.1). Il s'agit d'une cause de droit public au sens de l'<ref-law> qui ne relève d'aucune des exceptions figurant à l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte.
1.2. En l'occurrence, l'arrêt du Tribunal administratif fédéral, qui refuse la qualité de partie au recourant dans le cadre d'une procédure d'" enforcement " à l'encontre de la banque B._ SA, est intervenu avant qu'une telle procédure ne soit ouverte par la FINMA. Rien n'indique par ailleurs dans le dossier que cette dernière autorité ait officiellement engagé une enquête à ce jour, ni qu'elle le fera dans le futur (cf. <ref-law>). On pourrait dès lors se demander si l'arrêt attaqué constitue une décision finale au sens de l'<ref-law>, en tant qu'il met fin à une procédure en constatation de droit qui est de prime abord indépendante de toute autre procédure ouverte au fond, ou si il représente une décision finale partielle refusant à une personne qui le demande la possibilité de prendre part à une procédure donnée au sens de l'<ref-law> (cf. arrêt 2C_214/2018 du 7 décembre 2018 consid. 1.3). La question peut rester indécise, car l'arrêt attaqué peut sur le principe faire l'objet d'un recours au Tribunal fédéral quel que soit l'angle envisagé (cf., pour un cas similaire, arrêt 2C_487/2019 du 11 juin 2019 consid. 4, à propos d'une demande de récusation avant l'engagement de toute procédure au fond).
1.3. En ce qui concerne la qualité pour recourir du recourant, il y a lieu de souligner que celui-ci a participé à la procédure devant l'instance précédente et qu'il est particulièrement atteint par la décision entreprise, dont il est le destinataire direct (art. 89 al. 1 let. a et b LTF). On peut en revanche se demander s'il peut se prévaloir d'un intérêt digne de protection à l'annulation ou à la modification de l'arrêt attaqué (art. 89 al. 1 let. c LTF). Celui-ci lui dénie en effet la qualité de partie dans le cadre d'une procédure qui n'est pour l'heure qu'hypothétique, de sorte que la question qu'il souhaite faire trancher par le Tribunal semble revêtir un intérêt avant tout théorique et virtuel (cf., à titre de comparaison, arrêt 2C_119/2013 du 9 mai 2013 consid. 1.1 non publié in <ref-ruling>, où le recourant demandait la qualité de partie déjà au stade préalable de l'investigation). La question de la qualité pour recourir de la recourante comme la recevabilité de son recours, qui a été déposé en temps utile, compte tenu des féries hivernales (art. 100 al. 1 en lien avec l'art. 46 al. 1 let. c LTF), et dans les formes requises (<ref-law>), peuvent toutefois rester indécises, puisque, comme on le verra, le moyen est de toute manière mal fondé.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>).
En l'espèce, le recourant ne critique pas l'état de fait retenu dans l'arrêt entrepris. Il reproche à la FINMA et au Tribunal administratif fédéral d'avoir mal appliqué l'art. 6 de la loi fédérale du 20 décembre 1968 sur la procédure administrative (PA; RS 172.021) en lien avec l'art. 48 de cette même loi. Il considère qu'ayant un intérêt digne de protection, la qualité de partie doit lui être reconnue dans le cadre de la procédure que la FINMA a ouverte, ou pourrait ouvrir, à l'encontre de la banque sur la base des faits qu'il a dénoncés.
3.
Le point de savoir si la FINMA devait entrer en matière sur la requête formulée par le recourant dépend de la question de savoir si celui-ci pouvait se prévaloir d'un intérêt digne de protection.
3.1. Le recourant entend obtenir de la FINMA une intervention en qualité d'autorité de surveillance à l'encontre d'une banque et il prétend exercer des droits de partie dans cette procédure. L'intervention demandée peut se fonder sur la loi fédérale du 8 novembre 1934 sur les banques et les caisses d'épargne (LB; RS 952.0) et sur LFINMA. Aucune de ces deux lois ne contient cependant de dispositions particulières sur la qualité de partie dans une procédure en matière de surveillance; cette qualité est donc régie par les art. 6 et 48 PA (cf. <ref-ruling> consid. 2.1), ce que ne conteste pas le recourant.
3.2. Selon l'<ref-law>, la qualité de partie dans une procédure régie par cette loi est notamment reconnue aux personnes dont les droits ou les obligations pourraient être touchés par la décision à prendre. On admet qu'une personne qui est légitimée à recourir au sens de l'<ref-law> doit par définition pouvoir bénéficier des droits de partie au sens de l'<ref-law> (cf. <ref-ruling> consid. 5.1; <ref-ruling> consid. 3.4.1; <ref-ruling> consid. 4.3.1).
En vertu de l'art. 48 al. 1er let. a à c PA, a qualité pour recourir quiconque a pris part à la procédure devant l'autorité inférieure ou a été privé de la possibilité de le faire (let. a), est spécialement atteint par la décision attaquée (let. b), et a un intérêt digne de protection à son annulation ou à sa modification (let. c). L'intérêt digne de protection de l'<ref-law> correspond à l'intérêt visé à l'<ref-law> et doit être interprété de la même manière (<ref-ruling> consid. 5.1; <ref-ruling> consid. 3.2). Cet intérêt, qui n'est pas nécessairement un intérêt juridiquement protégé mais qui peut être un intérêt de fait, doit être direct et concret; en particulier, la partie recourante doit se trouver, avec la décision entreprise, dans un rapport suffisamment étroit, spécial et digne d'être pris en considération (<ref-ruling> consid. 5.1; <ref-ruling> consid. 1.4.1; <ref-ruling> consid. 4.4). Elle doit être touchée dans une mesure et avec une intensité plus grande que l'ensemble des administrés (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.1.2). A défaut d'une telle relation de proximité avec l'objet de la cause, la qualité de partie ne peut être déduite ni d'un intérêt simplement médiat ni d'un intérêt public purement général (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 6.1).
3.3. Par conséquent, la seule qualité de plaignant ou de dénonciateur ne donne pas le droit de recourir contre la décision prise à la suite de la dénonciation et ne confère donc pas la qualité de partie dans cette procédure; pour jouir d'une telle qualité, le dénonciateur doit non seulement se trouver dans un rapport étroit et spécial avec la situation litigieuse, mais aussi pouvoir invoquer un intérêt digne de protection à ce que l'autorité de surveillance intervienne (<ref-ruling> consid. 6.1; <ref-ruling> consid. 2; arrêt 2C_519/2017 du 28 novembre 2017 consid. 4.3). Le Tribunal fédéral a précisé à différentes occasions que la question de savoir si un dénonciateur remplissait les conditions précitées et donc jouissait de la qualité de partie devait être résolue différemment selon les matières et les circonstances d'espèce. Afin d'opérer une délimitation raisonnable avec le "recours populaire", il reconnaît restrictivement la qualité de partie au dénonciateur, lorsque celui-ci pourrait sauvegarder ses intérêts d'une autre manière, notamment par le biais d'une procédure pénale ou civile. Il en va de même lorsque l'activité administrative s'en trouverait compliquée de manière excessive (cf. <ref-ruling> consid. 2.3 et références citées). Le fait qu'un grand nombre de personnes puisse être touché par une procédure ne constitue bien entendu pas un motif suffisant à lui seul pour dénier la qualité de partie à ces personnes. Il sied néanmoins de tenir compte du fait que la qualité de partie ne doit pas être élargie à tel point que l'activité de l'administration serait rendue plus difficile, et ce de manière extraordinaire (<ref-ruling> consid. 5.4; arrêts 2C_214/2018 du 7 décembre 2019 consid. 4.5 et 2C_762/2010 du 2 février 2011 consid. 4.4).
3.4. La surveillance des marchés financiers a pour but de protéger, conformément aux lois sur les marchés financiers, les créanciers, les investisseurs et les assurés, et d'assurer le bon fonctionnement des marchés financiers. Elle contribue ce faisant à améliorer la réputation, la compétitivité et la viabilité de la place financière suisse (<ref-law>). La FINMA est chargée de cette surveillance (art. 5 al. 1 et 6 al. 1 LFINMA) et dispose de différents instruments à cette fin (<ref-law>). La surveillance répond à un intérêt public, si bien qu'un particulier qui entend obtenir de la FINMA l'ouverture d'une procédure de surveillance contre une banque n'a en principe pas la qualité de partie dans cette procédure. Selon la jurisprudence, dans le domaine de la surveillance des banques et des marchés financiers, il ne suffit donc pas que le dénonciateur soit investisseur ou client de la banque concernée pour revêtir une telle qualité; le dénonciateur doit en outre rendre vraisemblables l'existence et l'ampleur d'une atteinte à ses droits d'investisseur, ou d'une mise en péril de ses droits, pour mettre ainsi en évidence un intérêt personnel, direct et digne de protection à une enquête de l'autorité de surveillance ou à une mesure spécifique (<ref-ruling> consid. 2.3; <ref-ruling> consid. 3b).
3.5. Le Tribunal fédéral a déjà eu l'occasion de préciser que les dispositions sur les autres moyens de surveillance contenues aux art. 29-37 LFINMA ne modifiaient pas les règles générales qui précèdent. Certes, l'<ref-law> prévoit en particulier que la FINMA veille au rétablissement de l'ordre légal lorsqu'un assujetti enfreint la LFINMA ou une des lois sur les marchés financiers, ou si d'autres irrégularités sont constatées; pour ce faire, la FINMA dispose des instruments de surveillance prévus aux <ref-law>. Ces dispositions ne donnent toutefois pas aux investisseurs et aux créanciers le droit d'exiger une intervention de la FINMA. Lorsqu'elle ne peut pas se prévaloir d'un droit de recours au sens de l'<ref-law>, qui traite du recours contre l'homologation du plan d'assainissement et des opérations de réalisation, une personne touchée dans ses intérêts peut seulement faire parvenir une dénonciation à la FINMA; elle n'a pas la qualité de partie dans cette procédure (<ref-ruling> consid. 4.1 à 4.3).
3.6. En l'espèce, l'ouverture d'une éventuelle procédure contre la banque B._ SA par la FINMA sur la base des faits dénoncés par le recourant poursuivrait exclusivement un intérêt public. En comparaison, le recourant se plaint, dans son mémoire de recours, d'une atteinte à ses intérêts de nature purement privée, affirmant avoir été "directement et concrètement atteint, dans ses intérêts patrimoniaux notablement, par les manquements allégués de la banque" (sic). D'après l'arrêt attaqué, il soutient en effet depuis sa dénonciation, qu'un tiers, avec lequel il était en relations d'affaires, s'est enrichi de manière illégitime à ses dépens et que, par ses agissements, la banque, dont le tiers était client, a rendu possible un tel enrichissement. Ce faisant, il ne rend pas vraisemblable l'existence d'une atteinte à ses droits d'investisseur, ou d'une mise en péril de ses droits, d'une ampleur telle qu'elle mettrait en évidence un intérêt personnel, direct et digne de protection à une enquête de l'autorité de surveillance ou à une mesure spécifique. Comme il l'indique lui-même, il n'est ni client, ni créancier, ni investisseur, ni actionnaire de la banque, mais seulement "victime des agissements collatéraux" de celle-ci. Le lien qu'il entretient avec la banque qu'il a dénoncée est par conséquent très indirect. Le recourant se borne d'ailleurs à indiquer dans ses écritures que "[l]es flux financiers autorisés par la banque, au mépris de ses obligations d'organisation et de contrôle, ont directement mené à l'impossibilité pour [lui] de récupérer les sommes qui lui étaient dues, sur la base d'un jugement condamnatoire" (sic). Dans la mesure où un tel état de fait serait constitutif d'actes illicites à son encontre, il peut intenter une action civile contre leur auteur, ce qu'il admet lui-même et envisage au demeurant de faire prochainement, d'après ce qu'il déclare dans son mémoire. Comme le relève le Tribunal administratif fédéral, une procédure de surveillance fondée sur la LFINMA n'est toutefois pas destinée à soutenir les personnes intéressées dans leurs prétentions civiles.
3.7. Le recourant prétend que, n'étant ni créancier ni investisseur de la banque B._ SA, il pourrait se voir opposer le secret bancaire lors d'une procédure civile indépendante, ce qui l'empêcherait de prouver que la banque a violé ses droits "par la production de moyens de preuves idoine", et que, partant, "être partie à la procédure par-devant la FINMA constitue son seul moyen de pouvoir connaître, a fortiori démontrer, l'existence d'une violation d'une norme de protection à son encontre". Les organes et employés d'une banque, qui doivent respecter le secret bancaire prévue à l'<ref-law>, sont effectivement visés par l'<ref-law> qui prévoit un droit de refuser de collaborer dans une procédure civile à certaines conditions (Message du 28 juin 2006 relatif au code de procédure civile suisse [ci-après: Message CPC], FF 2006 6841, spéc. p. 6929). Selon cette disposition, réservée par l'<ref-law>, les employés en question peuvent refuser de collaborer s'ils rendent vraisemblable que l'intérêt à garder le secret l'emporte sur l'intérêt à la manifestation de la vérité (Message CPC, ibidem; <ref-ruling> consid. 3.1.1). Il est ainsi envisageable que le recourant n'ait pas accès à certaines pièces qui pourraient l'intéresser dans le cadre d'une éventuelle procédure civile qu'il intenterait à l'encontre de la banque (cf. <ref-ruling> consid. 3.1.2). On ne voit toutefois pas en quoi ce risque devrait lui conférer la qualité de partie dans une procédure administrative d'"enforcement". La qualité de partie dans une procédure de surveillance et l'accès à des données couvertes par le secret bancaire sont deux questions distinctes. Comme cela a été exposé, seules les personnes qui ont un intérêt digne de protection à ce qu'une procédure ait une issue particulière sur le fond jouissent de la qualité de partie dans une telle procédure administrative (cf. supra consid. 3.2). Le simple intérêt à être informé de son déroulement et à connaître le contenu de certaines pièces du dossier en vue de leur production devant une autorité judiciaire civile ne suffit pas. A titre de comparaison, les parents d'une personne décédée à la suite d'une erreur médicale n'ont pas non plus qualité de partie dans le cadre d'une procédure de surveillance engagée contre un établissement de santé, quand bien même ils peuvent se voir opposés le secret médical lors d'un procès en responsabilité (cf. notamment arrêt 2C_675/2019 du 4 février 2020 consid. 4.5 en lien avec arrêt 2C_37/2018 du 15 août 2018 consid. 6.2.3).
3.8. Relevons enfin que le recourant perd de vue que, même en tant que partie à une procédure d'"enforcement" ouverte contre une banque, il se verrait de toute manière imposer certaines limites, sachant que le personnel et les organes de la FINMA sont tenus de garder le secret sur les affaires du service (<ref-law>), que le client de la banque jouit d'un droit au secret de ses affaires découlant du contrat, soit du droit civil, ainsi que de son droit à la protection de sa sphère privée (<ref-ruling> consid. 3.1.2), et que le secret bancaire protège non seulement les intérêts des clients d'une banque mais aussi les intérêts commerciaux de celle-ci (<ref-ruling> consid. 4.2). Le secret de fonction des employés de la FINMA porte sur toutes les informations qui n'appartiennent pas au domaine public ou ne sont pas accessibles au public et pour lesquelles cette autorité ou des tiers, en relation juridique avec celle-ci, peuvent motiver l'intérêt au secret (Message du 1er février 2006 concernant la LFINMA [ci-après : Message LFINMA], FF 2006 2741, spéc. p. 2779). Dans l'exercice de son office, la FINMA doit ainsi prendre en considération l'intérêt au secret des assujettis, notamment leurs secrets d'affaires ainsi que le secret professionnel, tels que le secret bancaire définis à l'<ref-law> (Message LFINMA, p. 2779). L'éventuelle qualité de partie dont bénéficierait une personne qui était en relation d'affaires avec le client d'une banque dans une procédure de surveillance dirigée contre celle-ci ne lèverait pas cette obligation. Pour chaque pièce versée au dossier, il faudrait ainsi, entre autres, déterminer si des intérêts privés importants exigent que le secret soit gardé ou si l'intérêt d'une enquête non encore close l'exige avant, le cas échéant, d'en refuser la consultation en application de l'art. 27 al. 1 let. b et c PA. Le secret bancaire fait en effet partie des intérêts protégés par cette disposition (WALDMANN/OESCHER, in: Praxiskommentar, Verwaltungsverfahrengesetz, 2e éd. 2016, no 38 ad <ref-law>). Cette analyse générerait un alourdissement considérable de la procédure et un risque d'entrave notamment à l'efficacité de la surveillance étatique sur les banques et autres établissements assujettis à celle-ci.
3.9. Sur le vu de ce qui précède, il n'y a pas lieu de reconnaître au recourant la qualité de partie dans la procédure que la FINMA a ouverte, ou pourrait ouvrir, à l'encontre de la banque B._SA sur la base des faits qu'il a dénoncés. L'arrêt du Tribunal administratif fédéral procède, sur ce point, d'une application correcte des principes et dispositions légales applicables.
4.
Partant, le recours doit être rejeté, dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans le mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Autorité de surveillance des marchés financiers FINMA et au Tribunal administratif fédéral, Cour II.
Lausanne, le 17 juin 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat