Faits :
A.
A._, né en1984, est domicilié au Grand-Saconnex. Il a été naturalisé suisse le 12 mai 2015 et, compte tenu de son âge au moment de la naturalisation, il n'a jamais été convoqué par les autorités compétentes en vue d'effectuer du service militaire en Suisse.
Le 16 mars 2018, le Parlement fédéral a adopté une modification de la loi fédérale du 12 juin 1959 sur la taxe d'exemption de l'obligation de servir (LTEO; RS 661). La modification en question est entrée en vigueur le 1er janvier 2019 (RO 2018 3275).
B.
Le 29 novembre 2019, se fondant sur la nouvelle teneur de la LTEO, le Service genevois de la taxe d'exemption de l'obligation de servir (ci-après: le Service cantonal) a notifié à A._ un bordereau de taxation pour la taxe d'exemption 2018. Le montant de la taxe a été fixé à 3'009 fr., sur la base d'un revenu de 100'300 fr. et d'un taux de 3%. Par décision sur réclamation du 24 novembre 2020, le Service cantonal a confirmé sa taxation du 29 novembre 2019.
Par acte expédié le 26 novembre 2020 et complété le 7 décembre 2020, A._ a recouru contre la décision du Service cantonal du 24 novembre 2020 auprès de la Cour de justice du canton de Genève (ci-après: la Cour de justice), se plaignant notamment d'une violation du principe de non-rétroactivité des lois. Par arrêt du 9 mars 2021, la Cour de justice a rejeté le recours. Les juges cantonaux ont retenu, en substance, que la taxation querellée remplissait les conditions pour déroger exceptionnellement au principe de non-rétroactivité des lois, de sorte qu'elle ne violait pas le principe en question.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer la décision du Service cantonal du 29 novembre 2010 (recte: 2019) en ce sens qu'il n'est pas soumis à la taxe d'exemption pour l'année d'assujettissement 2018. Subsidiairement, il requiert l'annulation de la décision du Service cantonal du 29 novembre 2010 (recte: 2019) et le renvoi de la cause "à l'autorité précédente pour nouvelle décision dans le sens des considérants".
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fiscale cantonale genevoise, représentant le Service cantonal, dépose des observations et conclut à ce que le recours soit déclaré irrecevable, subsidiairement à ce qu'il soit rejeté. L'Administration fédérale des contributions dépose des déterminations et propose le rejet du recours. Le recourant a répliqué.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1).
1.1. L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF; cf. art. 22 al. 3 et 31 al. 3 LTEO; voir aussi art. 2 de la loi genevoise d'application des dispositions fédérales sur la taxe d'exemption de l'obligation de servir du 14 janvier 1961 [LaTE/GE; RS/GE G 1 05]), dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>, étant précisé que l'<ref-law> ne s'applique pas aux décisions en matière de taxe d'exemption de l'obligation de servir (arrêts 2C_170/2016 du 23 décembre 2016 consid. 1.2 et 2C_955/2014 du 12 octobre 2016 consid. 1.3). La voie du recours en matière de droit public est ainsi ouverte.
1.2. Pour le surplus, le recours a été interjeté en temps utile, compte tenu des féries (art. 46 al. 1 let. a et 100 al. 1 LTF), et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'<ref-law>. Il est donc recevable, sous réserve de ce qui suit.
1.3. Le recourant, bien qu'assisté d'un avocat, ne formule aucune conclusion contre l'arrêt attaqué. Toutefois, dès lors que l'on comprend, à la lecture du mémoire, que le recours est dirigé contre l'arrêt de la Cour de justice du 9 mars 2021 et que le contribuable considère en substance qu'il n'aurait pas dû être soumis à la taxe d'exemption 2018, il convient de ne pas se montrer trop formaliste et d'entrer en matière sur le recours (cf. <ref-ruling> consid. 1.3; arrêt 2C_401/2018 du 17 septembre 2018 consid. 1.3). En revanche, en raison de l'effet dévolutif complet du recours déposé auprès de la Cour de justice (cf. <ref-ruling> consid. 1.2), les conclusions tendant directement à la réforme, respectivement à l'annulation, de la décision du Service cantonal du 29 novembre 2010 (recte: 2019) sont irrecevables (cf. arrêt 2C_406/2020 du 10 février 2021 consid. 2.3).
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (<ref-law>). Dans ce cas, l'acte de recours doit contenir un exposé succinct des droits fondamentaux violés et préciser en quoi consiste la violation (cf. <ref-ruling> consid. 2.1).
3.
Le présent litige porte sur la confirmation, par la Cour de justice, de l'obligation faite au recourant de s'acquitter de la taxe d'exemption de l'obligation de servir pour l'année 2018.
3.1. Cette taxe trouve son fondement à l'art. 59 Cst. Selon cette disposition, tout homme de nationalité suisse est astreint au service militaire ou au service civil de remplacement (art. 59 al. 1 Cst.; cf. aussi art. 2 al. 1 de la loi fédérale du 3 février 1995 sur l'armée et l'administration militaire; LAAM; RS 510.10). Celui qui n'accomplit pas son service militaire ou son service de remplacement s'acquitte d'une taxe (art. 59 al. 3 Cst.), laquelle est régie par le droit fédéral, en particulier par la LTEO et par l'ordonnance du 30 août 1995 sur la taxe d'exemption de l'obligation de servir (OTEO; RS 661.1). Aux termes de l'<ref-law>, sont assujettis à la taxe les hommes astreints au service qui sont domiciliés en Suisse ou à l'étranger et qui, au cours d'une année civile, "ne sont, pendant plus de six mois, ni incorporés dans une formation de l'armée ni astreints au service civil" (jusqu'au 31 décembre 2018: "ne sont pas, pendant plus de six mois, incorporés dans une formation de l'armée et ne sont pas astreints au service civil"; selon le Message du Conseil fédéral cette modification est "purement formelle" [FF 2017 5837, p. 5852]). De jurisprudence constante, cette taxe, qui constitue une contribution de remplacement, a pour but de garantir une égalité de traitement entre les personnes soumises à l'obligation de servir qui effectuent le service militaire ou le service civil et celles qui en sont exonérées (arrêts 2C_955/2014 du 12 octobre 2016 consid. 4.1; 2C_924/2012 du 29 avril 2013 consid. 5.3; 2C_226/2010 du 29 novembre 2010 consid. 3.1).
3.2. La présente affaire a ceci de particulier que l'intéressé a été naturalisé suisse en 2015, à l'âge de 31 ans. Au vu de son âge au moment de la naturalisation, il n'a pas été convoqué par les autorités compétentes en vue d'effectuer du service militaire en Suisse et n'a donc jamais reçu d'ordre de marche à cette fin. Sur la base de la nouvelle version de la LTEO, en vigueur depuis le 1er janvier 2019 (RO 2018 3275; cf. infra consid. 4.2), il a été soumis, par décision du 29 novembre 2019, à la taxe d'exemption de l'obligation de servir pour l'année d'assujettissement 2018. En effet, la version actuellement en vigueur de l'<ref-law> prévoit que l'assujettissement à la taxe commence au plus tôt au début de l'année au cours de laquelle l'homme astreint atteint l'âge de 19 ans et se termine au plus tard à la fin de l'année au cours de laquelle il atteint l'âge de 37 ans. En tant que citoyen suisse depuis 2015, l'intéressé était en 2018 (alors qu'il avait moins que 37 ans) soumis à l'obligation de servir et, du moment que pendant l'année en question il n'était ni incorporé dans une formation de l'armée ni astreint au service civil (cf. <ref-law>), il a été soumis à la taxe d'exemption.
4.
Le recourant, se prévalant des art. 5, 8 et 9 Cst., invoque une violation du principe de l'interdiction de la rétroactivité des lois. Il soutient que le fait d'appliquer la nouvelle version de la LTEO (en vigueur depuis le 1er janvier 2019) à l'année d'assujettissement 2018 constituerait un cas de rétroactivité proprement dite, dont les conditions (strictes) ne seraient pas réalisées en l'occurrence.
4.1. Selon un principe général de droit intertemporel, les dispositions légales applicables à une contestation sont celles en vigueur au moment où se sont produits les faits juridiquement déterminants pour trancher celle-ci (<ref-ruling> consid. 7.1; <ref-ruling> consid. 6.3.1). Liée aux principes de sécurité du droit et de prévisibilité, l'interdiction de la rétroactivité des lois résulte du droit à l'égalité de traitement (art. 8 Cst.), de l'interdiction de l'arbitraire et de la protection de la bonne foi (art. 5 et 9 Cst.). L'interdiction de la rétroactivité (proprement dite) fait obstacle à l'application d'une norme à des faits entièrement révolus avant son entrée en vigueur (<ref-ruling> consid. 7.2.1), car les personnes concernées ne pouvaient, au moment où ces faits se sont déroulés, connaître les conséquences juridiques découlant de ces faits et se déterminer en connaissance de cause (cf. <ref-ruling> consid. 4.2; arrêts 8C_504/2020 du 24 juin 2021 consid. 5.2.2 et 2C_974/2019 du 17 décembre 2020 consid. 5.2). Une exception à cette règle n'est possible qu'à des conditions strictes, soit en présence d'une base légale suffisamment claire, d'un intérêt public prépondérant, et moyennant le respect de l'égalité de traitement et des droits acquis (<ref-ruling> consid. 7.2.1; <ref-ruling> consid. 7.1; <ref-ruling> consid. 3.4; <ref-ruling> consid. 3b; arrêts 1C_366/2016 du 13 février 2017 consid. 2.1; 2C_477/2013 du 16 décembre 2013 consid. 2.4; voir aussi LOUISE BONADIO, Taxe militaire: les effets et les doutes autour de la loi sur la taxe d'exemption de l'obligation de servir, in Novità fiscali 7/2021 375, p. 377). La rétroactivité doit en outre être raisonnablement limitée dans le temps (<ref-ruling> consid. 7.2.1; <ref-ruling> consid. 7.1; arrêt 1C_366/2016 du 13 février 2017 consid. 2.1).
En matière fiscale, il y a rétroactivité lorsque l'obligation imposée au contribuable se fonde sur des faits antérieurs et entièrement révolus lors de l'entrée en vigueur de la loi (cf. <ref-ruling> consid. 4.2). La quotité d'un impôt peut en revanche être déterminée sur la base de faits antérieurs à la promulgation de la loi (arrêts 1C_366/2016 du 13 février 2017 consid. 2.1; 2C_477/2013 du 16 décembre 2013 consid. 2.4; voir déjà <ref-ruling> consid. 3).
Si une disposition contenue dans une loi fédérale prévoit un effet rétroactif, le Tribunal fédéral et les autres autorités sont tenus de l'appliquer même si cet effet rétroactif apparaît problématique du point de vue des droits constitutionnels (cf. art. 190 Cst.), étant précisé que, si plusieurs interprétations d'une loi fédérale sont possibles, le Tribunal fédéral doit choisir celle qui est le plus conforme à la Constitution (cf. <ref-ruling> consid. 6.3). L'interprétation conforme à la Constitution trouve ses limites lorsque le texte et le sens de la disposition légale sont absolument clairs, quand bien même ils seraient contraires à la Constitution (<ref-ruling> consid. 3.1; arrêt 2C_402/2020 du 10 décembre 2020 consid. 3.1).
4.2. L'art. 3 aLTEO (en vigueur jusqu'au 31 décembre 2018) prévoyait ce qui suit:
" Art. 3 - Durée de l'assujettissement à la taxe
1. L'assujettissement à la taxe commence au début de l'année au cours de laquelle la personne astreinte atteint l'âge de 20 ans.
2. Il se termine:
a. pour les personnes qui ne sont pas incorporées dans une formation de l'armée et qui ne sont pas astreintes au service civil, à la fin de l'année au cours de laquelle elles atteignent l'âge de 30 ans;
[...] "
La version actuelle de l'<ref-law> (en vigueur depuis le 1er janvier 2019) a la teneur suivante:
" Art. 3 - Début et durée de l'assujettissement à la taxe
1. L'assujettissement à la taxe commence au plus tôt au début de l'année au cours de laquelle l'homme astreint atteint l'âge de 19 ans. Il se termine au plus tard à la fin de l'année au cours de laquelle il atteint l'âge de 37 ans.
2. Pour les assujettis visés à l'art. 2, al. 1, let. a, qui n'effectuent pas de service de protection civile, l'assujettissement à la taxe commence l'année qui suit le recrutement. Il dure onze ans.
[...]. "
L'<ref-law>, auquel se réfère l'<ref-law>, prévoit que sont assujettis à la taxe les hommes astreints au service qui sont domiciliés en Suisse ou à l'étranger et qui, au cours d'une année civile (année d'assujettissement), ne sont, pendant plus de six mois, ni incorporés dans une formation de l'armée ni astreints au service civil.
Dans le cadre de la modification de LTEO du 16 mars 2018, le Parlement n'a adopté aucune disposition transitoire spécifique relative à l'<ref-law>. Les "dispositions transitoires relatives à la modification du 16 mars 2018" concernent en effet uniquement (1) la "taxe d'exemption finale" visée à l'<ref-law> et (2) le droit applicable aux "procédures de réclamation ou de recours qui sont pendantes au moment de l'entrée en vigueur de la présente modification".
4.3. En 2018, l'intéressé était âgé de 33/34 ans et il n'était ni incorporé dans une formation de l'armée ni astreint au service civil. Sous l'empire de l'art. 3 al. 2 let. a aLTEO, il n'était donc à l'époque pas assujetti à la taxe d'exemption 2018, car il avait déjà atteint l'âge de 30 ans. En revanche, sous le (nouveau) régime de l'art. 3 al. 1 et 2 LTEO, il est assujetti à cette taxe, puisqu'en 2018 il n'avait pas encore atteint l'âge de 37 ans.
4.4. Dans ces circonstances, force est de constater que l'application (effectuée par le Service cantonal et confirmée par la Cour de justice) du nouvel art. 3 al. 1 et 2 LTEO à l'année d'assujettissement 2018 constitue un cas de rétroactivité proprement dite, dans la mesure où l'obligation imposée en l'espèce au contribuable se fonde sur des faits relatifs à l'année 2018 qui sont antérieurs à l'entrée en vigueur (1er janvier 2019) de la modification de la LTEO. En effet, cette obligation repose sur le fait que l'intéressé, homme astreint au service domicilié en Suisse, au cours de l'année 2018("au cours d'une année civile", <ref-law>) n'était ni incorporé pendant plus de six mois dans une formation de l'armée ni astreint au service civil. Il n'est pas pertinent, de ce point de vue, que l'année de taxation soit, en règle générale, l'année civile qui suit l'année d'assujettissement (<ref-law>). Bien que l' année de taxation soit en l'occurrence 2019, il n'en demeure pas moins que l' année d'assujettissementest incontestablement 2018, année dans laquelle - comme on vient de le voir - se sont entièrement déroulés les faits à base de la taxe d'exemption litigieuse (en ce sens, cf. ATF <ref-ruling> consid. 3.5).
4.5. Il sied ainsi de vérifier si les conditions pour déroger - à titre exceptionnel - au principe de l'interdiction de la rétroactivité (proprement dite) des lois sont remplies en l'espèce. Pour cela, il faudrait en l'occurrence une base légale suffisamment claire, propre à exclure sur ce point une interprétation conforme à la Constitution de la part du Tribunal fédéral (cf. supra consid. 4.1 in fine). En l'occurrence, celle-ci fait défaut. Il ne ressort d'aucun article de la LTEO que la nouvelle version de cette loi serait applicable aussi aux années précédant son entrée en vigueur (1er janvier 2019). En particulier, aucune disposition transitoire prévoit que tel serait le cas (cf., a contrario, arrêt 1C_366/2016 du 13 février 2017 consid. 2.2; voir en ce sens aussi ATF <ref-ruling> consid. 3a in fine; LOUISE BONADIO, op. cit., p. 376). Certes, l'<ref-law> dispose que "l'année de taxation est, en règle générale, l'année civile qui suit l'année d'assujettissement". Cette norme se limite toutefois à indiquer que la décision de taxation relative à une année d'assujettissement est normalement rendue l'année suivante. Elle ne prévoit pas (et certainement pas de manière suffisamment claire) que la nouvelle version de la LTEO serait applicable aussi à une année d'assujettissement (in casu 2018) précédant l'entrée en vigueur de celle-ci. A défaut de toute base légale prévoyant de manière assez claire que la version de la LTEO en vigueur à partir du 1er janvier 2019 devait être appliquée rétroactivement à l'année 2018, la Cour de justice ne pouvait pas, sous peine de violer le principe de non-rétroactivité des lois, confirmer l'assujettissement du contribuable à la taxe d'exemption 2018.
5.
Il découle de ce qui précède que le recours doit être admis dans la mesure où il est recevable et que l'arrêt attaqué doit être réformé en ce sens que le bordereau de taxation pour la taxe d'exemption 2018 de l'intéressé est annulé. Dans ces conditions, il n'est pas nécessaire d'examiner les autres griefs soulevés par le recourant.
Compte tenu de l'issue du litige, les frais judiciaires sont mis à la charge du canton de Genève, qui succombe et dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Ayant obtenu gain de cause avec l'aide d'un mandataire professionnel, le recourant a droit à des dépens (art. 68 al. 1 et 2 LTF), à charge du canton de Genève. L'affaire sera également renvoyée à la Cour de justice pour qu'elle statue à nouveau sur les frais et dépens de la procédure suivie devant elle (cf. art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis dans la mesure où il est recevable. L'arrêt de la Cour de justice du 9 mars 2021 est réformé en ce sens que le bordereau de taxation pour la taxe d'exemption 2018 de l'intéressé est annulé.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du canton de Genève.
3.
Le canton de Genève versera au recourant une indemnité de 3'000 fr. à titre de dépens.
4.
La cause est renvoyée à la Cour de justice pour nouvelle décision sur les frais et dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 4 mai 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
Le Greffier : A. Ermotti