Faits :
A.
A.a. Par jugement rendu le 15 janvier 2021, le Tribunal de première instance de Genève (ci-après: Tribunal de première instance) a, à la requête de B._, prononcé la mainlevée définitive de l'opposition formée par A._ au commandement de payer, poursuite n° xx xxxxxx x.
A.b. Le 1er février 2021, A._ a interjeté un recours à la Cour de justice du canton de Genève (ci-après: Cour de justice) à l'encontre de ce jugement.
Par arrêt du 17 février 2021, la Cour de justice a rejeté la requête d'effet suspensif assortissant le recours.
A.c. Le 26 février 2021, A._ a soldé l'intégralité de la poursuite par un paiement de 364'499 fr. 35. Il a indiqué dans un courrier du même jour à l'Office des poursuites de Genève que ce paiement intervenait en raison du refus de l'octroi de l'effet suspensif à son recours et qu'il entendait ainsi payer la dette et agir en restitution de l'indu.
A.d. Par courrier du 11 mars 2021, B._ a fait savoir à la Cour de justice que A._ avait payé la dette poursuivie, de sorte que la poursuite était soldée, précisant qu'elle persistait à conclure à l'octroi de dépens.
Le 22 mars 2021, A._ a indiqué à la Cour qu'il persistait dans son recours dans la mesure où il " était en droit d'obtenir un jugement sur la validité du titre invoqué en vue de la mainlevée et l'octroi de dépens ".
A.e. Par arrêt du 19 avril 2021, expédié le 26 suivant, la Cour de justice a constaté que le recours formé le 1er février 2021 par A._ contre le jugement rendu le 15 janvier 2021 par le Tribunal de première instance était devenu sans objet, a mis à la charge de A._ les frais judiciaires de recours, arrêtés à 500 fr., et les a compensés avec l'avance versée, acquise à l'État de Genève à due concurrence, a invité les Services financiers du Pouvoir judiciaire genevois à rembourser à A._ le solde de l'avance en 625 fr., a condamné A._ à verser 2'500 fr. à B._ à titre de dépens de recours, et, enfin, a rayé la cause du rôle.
B.
Par acte posté le 28 mai 2021, A._ exerce un recours en matière civile contre l'arrêt du 19 avril 2021. Il conclut à son annulation et au renvoi de la cause à la Cour de justice pour nouvelle décision dans le sens des considérants.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Le recours a été formé en temps utile (<ref-law>) contre une décision finale (<ref-law>) rendue en matière de poursuite pour dettes et faillite (<ref-law>, en relation avec l'<ref-law>) par un tribunal supérieur ayant statué sur recours (art. 75 al. 1 et 2 LTF). La valeur litigieuse minimale de 30'000 fr. est atteinte (<ref-law>). Le recourant a qualité pour recourir (<ref-law>; cf. arrêt 5A_1035/2019 du 12 mars 2020 consid. 1). Le recours est ainsi en principe recevable au regard des dispositions qui précèdent. Dans ces conditions, la question de la recevabilité du recours pour déni de justice et retard injustifié au sens de l'<ref-law> - mentionné par le recourant - apparaît sans objet (cf. arrêt 1B_240/2020 du 4 juin 2021 consid. 1.2.2).
1.2. Le recours en matière civile des <ref-law> étant une voie de réforme (<ref-law>), le recourant ne peut pas se borner à demander l'annulation de la décision attaquée et le renvoi de la cause à l'instance cantonale; il doit, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1). Il n'est fait exception à ces principes que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond; il appartient au recourant de démontrer qu'il en est ainsi lorsque cela ne ressort pas sans autre de la décision attaquée (ATF <ref-ruling> consid. 1.3; <ref-ruling> consid. 3.2). En l'espèce, le recourant ne prend que des conclusions cassatoires. Dès lors toutefois que l'admission de ses griefs impliquerait nécessairement l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité cantonale, il peut être renoncé à l'exigence formelle de conclusions réformatoires.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'art. 42 al. 1 et 2 LTF, il n'examine pas toutes les questions juridiques qui peuvent se poser, mais seulement celles qui sont soulevées devant lui (<ref-ruling> consid. 2.4 et les références). L'<ref-law> exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1).
En l'occurrence, hormis l'arrêt sur effet suspensif rendu le 17 février 2021, les faits que le recourant allègue, sans respecter les exigences accrues de motivation découlant du principe d'allégation, ont trait à son argumentation au fond et apparaissent sans pertinence sur l'issue du litige qui porte sur la perte ou non de l'objet du recours.
3.
La Cour de justice a notamment retenu que, dans la mesure où la procédure ne pouvait tendre qu'au refus ou au prononcé de la mainlevée de l'opposition formée au commandement de payer, la cause n'avait plus d'objet puisque la poursuite était éteinte. Elle a ajouté ne pas pouvoir se prononcer dans ce cadre sur une éventuelle action en répétition de l'indu, prévue par l'<ref-law>, comme le souhaitait le recourant, les motifs pour lesquels ce dernier avait soldé la poursuite étant dénués de pertinence à cet égard. En tout état de cause, le recourant n'avait plus d'intérêt au recours puisqu'une éventuelle décision qui lui donnerait raison dans la présente procédure, qui n'était qu'un incident de la poursuite, ne lierait pas le juge saisi de l'action en répétition de l'indu que le recourant entendait intenter, celle-ci étant une action tranchant une prétention de droit matériel. Le recours devait par conséquent être déclaré sans objet, conformément à l'<ref-law>.
4.
Invoquant la violation des art. 29 et 29a Cst. ainsi que de l'art. 6 CEDH, le recourant se plaint d'un déni de justice en tant que l'arrêt attaqué lui avait dénié le droit d'obtenir une décision sur le contenu matériel de la facture présentée par le poursuivant pour obtenir la mainlevée. Il est d'avis qu'en s'abstenant de statuer sur le fond de l'affaire, au motif que le montant de la poursuite avait été réglé, la Cour de justice avait entériné une violation de l'<ref-law>, pourtant régulièrement soumise à son appréciation par un recours recevable. Se prévalant d'une violation de l'art. 9 Cst., le recourant reproche aussi aux juges cantonaux d'avoir violé la bonne foi qu'il était en droit d'attendre d'eux. Il s'était en effet fié à l'assurance donnée dans l'arrêt sur effet suspensif du 17 février 2021 qu'il serait en mesure de faire valoir ses droits dans la procédure de recours. Cette assurance que le fond serait jugé par la Cour de justice l'avait déterminé à solder la poursuite en cours pour éviter les conséquences d'une saisie. Le recourant soutient enfin qu'en ne se prononçant pas sur les griefs qu'il avait invoqués, soit l'inexistence ou l'extinction de la créance invoquée en poursuite et l'absence de titre à la mainlevée, le principe du double de degré de juridiction énoncé par l'<ref-law> a été violé, ce qui justifiait que la cause soit renvoyée à la cour cantonale pour jugement sur le fond du litige.
Ce faisant, le recourant perd complètement de vue qu'il lui incombait de discuter les motifs de l'arrêt attaqué et, partant, d'indiquer en quoi le constat selon lequel le recours avait perdu son objet en raison du paiement de l'intégralité de la poursuite en mains de l'office serait contraire au droit fédéral, et notamment à l'<ref-law> appliqué par la Cour de justice. Or un tel constat est parfaitement conforme à la jurisprudence, qui retient que le débiteur qui paye à l'office les montants mis en poursuite perd son intérêt à recourir contre la décision qui prononce la mainlevée (arrêt 5A_631/2019 du 28 janvier 2020 consid. 1.4.3). En effet, d'après le Tribunal fédéral, il y a un retrait d'opposition lorsque le débiteur poursuivi verse l'entier du montant en poursuite, frais compris, en mains de l'office (ATF 77 III 5 [7]; arrêts 5A_150/2017 du 27 novembre 2017 consid. 2.1; 5P.112/1999 du 4 mai 1999 consid. 2; RUEDIN, in Commentaire romand, LP, 2005, n° 19 ad <ref-law>); ce n'est que si, par ce versement, le poursuivi ne s'est pas acquitté de l'entier du montant en poursuite que le retrait n'est que partiel et que la poursuite peut être continuée (BESSENICH, in Basler Kommentar, SchKG I, 2ème éd., 2010, n° 5 i.f. ad <ref-law>). En l'espèce, le recourant ne conteste pas que la poursuite litigieuse a été intégralement soldée par son versement en mains de l'office. Ce versement doit dès lors être considéré comme un retrait d'opposition mettant un terme à la procédure de mainlevée. C'est donc à juste titre que la Cour de justice n'a pas examiné les mérites du recours. En effet, selon la jurisprudence, le retrait de l'opposition rend la requête de mainlevée sans objet et le procès prend fin pour une " autre raison " au sens de l'<ref-law>; le juge constatera que la requête, respectivement le recours, est devenu sans objet, et statuera sur les frais et dépens, l'art. 107 al. 1 let. e CPC en ce qui concerne la répartition des frais étant en principe applicable (arrêt 5D_82/2012 du 28 juin 2012 consid. 3; ABBET, in La mainlevée de l'opposition, 2017, n° 131 ad <ref-law>). Les juges précédents n'ont donc commis aucun déni de justice ni, partant, violé l'<ref-law> ou le principe du double degré de juridiction.
Quant aux assurances que les mérites du recours seraient examinés, prétendument données par la Cour de justice dans sa décision sur effet suspensif, force est de constater que dite décision a été rendue antérieurement au paiement en mains de l'office de l'intégralité de la poursuite, soit à un moment où la cour cantonale ne pouvait pas inférer du dossier qu'elle était en présence d'une cause ayant totalement perdu son objet. C'est, quoi qu'il en soit, de manière purement appellatoire que le recourant interprète à sa guise la décision sur effet suspensif en prétendant en définitive qu'il aurait été incité à solder la poursuite puisque la Cour de justice avait retenu, pour justifier le rejet de sa requête, qu'il n'avait pas allégué qu'il serait exposé à d'importantes difficultés financières s'il devait s'acquitter du montant litigieux et ne pourrait en obtenir le remboursement en cas de succès de son recours. C'est omettre que cette considération a uniquement été émise, encore une fois à un moment où la poursuite n'était pas éteinte, en lien avec la condition du préjudice difficilement réparable de l'<ref-law> et de la jurisprudence y relative.
5.
En conclusion, le recours est rejeté dans la mesure de sa recevabilité, aux frais de son auteur (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimé, qui n'a pas été invité à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 30 juin 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari