Faits :
A.
A._ a été désigné comme exécuteur testamentaire dans un pacte successoral conclu entre les époux E._ et F._, et leurs trois enfants B._, C._ et G._.
Après le décès de E._ le 3 novembre 2014, A._ a été désigné exécuteur testamentaire et a reçu le certificat ad hoc du juge de paix.
Fin décembre 2018, A._ a pris sa retraite de notaire et transféré ses minutes à son associé.
B.
Saisi d'une requête tendant à la délivrance d'un certificat d'exécuteur testamentaire à A._ consécutivement au décès de F._ le 31 octobre 2020, le juge de paix a, par courrier du 22 janvier 2021, répondu que, dans la mesure où A._ n'exerçait plus et que le testateur n'avait pas prévu que la fonction soit reprise par le repreneur de ses minutes ou par un tiers, il considérait qu'il n'existait pas d'exécuteur testamentaire.
A._ et son ancien associé se sont opposés à l'interprétation du juge de paix et ont invité celui-ci à rendre une décision formelle s'il devait maintenir sa position. Par décision du 17 février 2021, le juge de paix a rejeté la requête en délivrance du certificat d'exécuteur testamentaire.
Statuant par arrêt du 2 septembre 2021, communiqué aux parties par plis recommandés du 6 septembre 2021, la Cour de justice du canton de Genève a admis l'appel formé par A._. Elle a annulé la décision attaquée en tant qu'elle lui refusait la délivrance du certificat d'exécuteur testamentaire et a renvoyé la cause au juge de paix afin qu'il délivre celui-ci. Elle a par ailleurs arrêté les frais judiciaires d'appel à 500 fr. et les a laissés à la charge de l'État de Genève.
C.
Par acte du 7 octobre 2021, A._ exerce un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut à l'annulation de la décision querellée et au renvoi de la cause à l'autorité précédente afin que celle-ci condamne l'État de Genève à lui allouer une indemnité de dépens.
Invités à se déterminer, la cour cantonale se réfère aux considérants de son arrêt; la justice de paix indique n'avoir pas d'observations à déposer; B._, C._ et D._ n'ont pas déposé de réponse dans le délai imparti à cet effet.

Considérant en droit :
1.
1.1. La recevabilité du recours portant sur une question accessoire, en l'espèce l'allocation de dépens dans la procédure de recours cantonale, est en principe déterminée par la cause au fond (<ref-ruling> consid. 2.2). La décision attaquée concerne la délivrance d'un certificat d'exécuteur testamentaire, c'est-à-dire une affaire soumise au recours en matière civile (<ref-law>) dans une affaire pécuniaire (arrêts 5A_644/2015 du 24 novembre 2015 consid. 1.2; 5A_257/2009 du 26 octobre 2009 consid. 1.3).
1.2. Lorsque le recours au Tribunal fédéral a exclusivement pour objet les frais et dépens (cantonaux) et que le fond de la cause était encore litigieux devant l'autorité précédente, la valeur litigieuse correspond aux conclusions sur le fond (<ref-law>). Le recours en matière civile est ainsi recevable lorsque les dites conclusions atteignaient la valeur litigieuse requise - ici 30'000 fr. (<ref-law>) -, même si les frais et dépens exclusivement contestés devant le Tribunal fédéral sont inférieurs à cette valeur (<ref-ruling> consid. 1.2.2).
En l'occurrence, la cour cantonale n'a fait que constater que la valeur litigieuse était supérieure à 10'000 fr., sans fixer celle-ci. Le recourant l'estime entre 1'000 fr. et 2'500 fr. en se fondant sur le fait que son recours porte exclusivement sur l'allocation de dépens, ce qui est erroné au regard de la jurisprudence précitée sur la détermination de la valeur litigieuse en cas de recours limité à la question des frais et dépens. Dès lors que le recourant - qui ne soulève au demeurant que des griefs de violation de droits constitutionnels - ne prétend pas que la valeur litigieuse serait suffisante ou que le présent litige soulèverait une question juridique de principe (<ref-law>), le présent recours est traité comme recours constitutionnel subsidiaire au sens des <ref-law>, étant donné qu'il en satisfait les conditions de recevabilité (cf. <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.2 et 3).
1.3. Le recours est dirigé contre un arrêt par lequel la cour cantonale admet l'appel interjeté par le recourant et renvoie l'affaire au juge de paix pour qu'il lui délivre le certificat d'exécuteur testamentaire. Selon la jurisprudence, le Tribunal fédéral admet, dans le procès civil, qu'une décision de renvoi est en principe une décision incidente, car elle n'entraîne pas la clôture de la procédure (<ref-ruling> consid. 1.3 et 1.4; arrêts 5A_1007/2021, 5A_1008/2021 du 17 décembre 2021 consid. 2 et les références; 4A_96/2020 du 24 février 2020 consid. 1.5). En l'occurrence, il ne s'agit toutefois pas d'une décision de renvoi au sens de l'art. 318 al. 1 let. c CPC, mais d'un ordre d'exécution de l'autorité supérieure au juge de paix qui est seul compétent pour délivrer physiquement un certificat d'héritier, étant par ailleurs relevé que cette délivrance ne pourra plus être contestée devant l'autorité supérieure. Il y a ainsi lieu de considérer l'arrêt attaqué comme une décision finale au sens de l'<ref-law>, également applicable à la procédure du recours constitutionnel (<ref-law>).
1.4. Le recours a été interjeté à temps (art. 100 al. 1 et 117 LTF) à l'encontre d'une décision rendue par une autorité cantonale de dernière instance statuant sur recours (art. 75 al. 1 et 2, <ref-law>). Le recourant a en outre qualité pour recourir (<ref-law>).
1.5. En tant que le recourant soulève des griefs de déni de justice formel (art. 29 al. 1 Cst.) et de violation de son droit d'être entendu sous l'angle du droit à une décision motivée (art. 29 al. 2 Cst.), ses conclusions purement cassatoires sont recevables, dès lors que si le Tribunal fédéral devait accueillir ces griefs, il ne serait de toute manière pas en mesure de statuer lui-même sur le fond du litige (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.3).
1.6. La requête en rectification formée le 13 septembre 2021 par le recourant devant la Cour de justice et l'arrêt du 5 octobre 2021 rejetant cette requête sont postérieurs à l'arrêt attaqué. Ils n'ont par conséquent pas à être pris en compte, dès lors qu'ils n'influencent pas sur l'objet du litige (<ref-law>).
2.
2.1. Le recours constitutionnel subsidiaire n'est ouvert que pour se plaindre de la violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés par le recourant, à savoir expressément soulevés et exposés de manière claire et détaillée (" principe d'allégation "; <ref-ruling> consid. 3; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence).
2.2. En principe, le refus de délivrer un certificat d'exécuteur testamentaire constitue une mesure provisionnelle au sens de l'<ref-law>, car le certificat n'a qu'un caractère déclaratoire et sert de preuve à l'exécuteur testamentaire quant à sa nomination et son acceptation de la fonction (arrêt 5A_257/2009 du 26 octobre 2009 consid. 1.4). Une exception à la qualification de mesure provisionnelle doit toutefois être admise lorsque l'autorité cantonale examine elle-même au fond si l'exécuteur testamentaire a été valablement désigné, sans réserver l'interprétation définitive de la disposition pour cause de mort à la connaissance du juge ordinaire dans une procédure ultérieure (arrêts 5A_635/2015 du 21 juin 2016 consid. 2.1; 5A_644/2015 du 24 novembre 2015 consid. 1.3). Savoir si la décision querellée doit être qualifiée de mesure provisionnelle n'a pas d'importance pratique en l'espèce puisque le recourant ne peut de toute manière se plaindre - et d'ailleurs ne se plaint - que d'une violation de ses droits constitutionnels (cf. supra consid. 2.1).
3.
3.1. Soulevant des griefs d'arbitraire dans l'établissement des faits (art. 9 Cst.), de déni de justice formel (art. 29 al. 1 Cst.) et de violation de son droit d'être entendu sous l'angle du droit à une décision motivée (art. 29 al. 2 Cst.), le recourant reproche en substance à la cour cantonale de ne pas s'être prononcée sur sa conclusion tendant à ce qu'une indemnité de dépens lui soit octroyée en appel. Il précise par ailleurs avoir expliqué dans son recours que, dans la mesure où il obtenait gain de cause, l'allocation de dépens était justifiée pour l'exercice de ses droits.
3.2. Selon la jurisprudence, l'autorité qui ne statue pas ou n'entre pas en matière sur un recours ou un grief qui lui est soumis dans les formes et délais légaux, alors qu'elle était compétente pour le faire, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (<ref-ruling> consid. 4.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.3). La jurisprudence a déduit par ailleurs du droit d'être entendu de l'art. 29 al. 2 Cst. l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 5.2; <ref-ruling> consid. 2.1).
3.3. En l'occurrence, il apparaît effectivement que la cour cantonale a omis de statuer sur l'indemnité de dépens requise par le recourant dans les conclusions de son appel, violant ainsi l'art. 29 Cst. Il s'ensuit que les griefs du recourant doivent être admis et la cause renvoyée à la juridiction précédente pour complément de décision sur cette question, le Tribunal fédéral n'ayant pas à se prononcer à la place de la cour cantonale.
4.
Le recours doit dès lors être admis, la cause renvoyée à l'autorité précédente pour décision sur les dépens de la procédure cantonale. Dès lors que les intimés n'ont pas pris position devant la juridiction précédente, ne s'identifient pas avec l'arrêt attaqué qui a pour seul objet les dépens à allouer à l'exécuteur testamentaire ni avec la procédure en tant que telle puisqu'il n'apparaît pas qu'ils se seraient opposés à la désignation de l'exécuteur testamentaire et qu'ils ne se sont pas déterminés devant le Tribunal fédéral dans le délai imparti à cet effet, il n'y a pas lieu de les condamner aux frais et dépens (arrêts 5A_932/2016 du 24 juillet 2017 consid. 2.2.4 et les nombreuses références; 4A_237/2013 du 8 juillet 2013 consid. 5 non publié in <ref-ruling>; 4A_425/2012 du 26 février 2013 consid. 4.2 non publié in BGE 139 III 120; BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, no 38 ad <ref-law>) ni, à l'inverse, de leur allouer de dépens. L'État de Genève ne doit pas s'acquitter de frais judiciaires (art. 66 al. 1 et 4 LTF), mais versera au recourant une indemnité de dépens (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours, traité en tant que recours constitutionnel subsidiaire, est admis et la cause est renvoyée à l'autorité précédente pour qu'elle statue sur les dépens de la procédure cantonale.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 1'500 fr., à payer au recourant à titre de dépens pour la procédure fédérale, est mise à la charge de l'État de Genève.
4.
Le présent arrêt est communiqué aux parties, à la Justice de paix du canton de Genève et à Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 12 avril 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
Le Greffier : Piccinin