Sachverhalt:
A.
Am 3. September 2013 wurde der 1981 geborene A._eingebürgert. Er erlangte damit alle Rechte und Pflichten eines Schweizer Bürgers.
Im Jahr 2018 wurde A._ im Personalinformationssystem der Armee (PISA) erfasst. Laut PISA wurde A._ am 1. Januar 2018 von der Rekrutierung befreit. Grundlage dafür bildete laut PISA Art. 9 Abs. 2 des Bundesgesetzes vom 3. Februar 1995 über die Armee und die Militärverwaltung (MG; SR 510.10). Die Befreiung von der Rekrutierung gestützt auf die vorgenannte gesetzliche Grundlage wurde auch im Dienstbüchlein mit Datum vom 3. September 2013 so festgehalten. A._ leistete weder im Jahr 2018 noch in den Jahren zuvor je Militär- oder Ersatzdienst.
Am 17. Januar 2020 schickte die Wehrpflichtersatzverwaltung des Kantons Solothurn A._eine provisorische Rechnung über Fr. 400.-- für die Wehrpflichtersatzabgabe des Jahres 2018. Diese provisorische Rechnung bezahlte A._ am 14. Februar 2020 vollumfänglich.
B.
Mit Veranlagungsverfügung vom 9. Juni 2020 setzte die Wehrpflichtersatzverwaltung die Wehrpflichtersatzabgabe für das Jahr 2018 definitiv auf Fr. 6'612.-- fest. Unter Abzug des von A._ bereits bezahlten Betrags von Fr. 400.-- wurde ihm der Differenzbetrag von Fr. 6'212.-- in Rechnung gestellt. Eine dagegen erhobene Einsprache wies die Wehrpflichtersatzverwaltung mit Entscheid vom 17. Juli 2020 ab. Gegen diesen Entscheid gelangte A._ mit Beschwerde vom 14. August 2020 an das Kantonale Steuergericht Solothurn. Mit Urteil vom 25. Oktober 2021 hiess dieses die Beschwerde gut. Es hob den Einspracheentscheid auf und stellte fest, dass A._ für das Jahr 2018 keine Wehrpflichtersatzabgabe schuldet und ihm die gestützt auf die provisorische Rechnung vom 17. Januar 2020 bezahlten Fr. 400.-- zurückzuerstatten seien.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 9. Dezember 2021 beantragt die Eidgenössische Steuerverwaltung ESTV die Aufhebung des Urteils vom 25. Oktober 2021 des Steuergerichts des Kantons Solothurn und die Bestätigung des Einspracheentscheids vom 17. Juni 2020 bzw. damit auch der Veranlagungsverfügung der kantonalen Wehrpflichtersatzverwaltung vom 9. Juni 2020 sei zu bestätigen.
A._ beantragt die Abweisung der Beschwerde. Das Steuergericht des Kantons Solothurn beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Wehrpflichtersatzverwaltung des Kantons Solothurn beantragt die Aufhebung des Urteils des Steuergerichts und die Bestätigung des Einspracheentscheids vom 17. Juni 2020 und damit auch der Veranlagungsverfügung vom 9. Juni 2020.
Erwägungen:
1.
Die Beschwerde richtet sich gegen einen Endentscheid einer letzten kantonalen Instanz in einer öffentlich-rechtlichen Angelegenheit. Da zudem Art. 83 lit. i BGG auf Entscheide betreffend die Wehrpflichtersatzabgabe nicht anwendbar ist (Urteil 2C_170/2016 vom 23. Dezember 2016 E. 1.2 mit Hinweisen), steht gegen den angefochtenen Entscheid die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82, Art. 86 Abs. 1 lit. d BGG i.V.m. Art. 31 Abs. 3 des Bundesgesetzes vom 12. Juni 1959 über die Wehrpflichtersatzabgabe [WPEG; SR 661] und Art. 90 BGG). Die ESTV ist zur Beschwerde legitimiert (Art. 89 Abs. 2 lit. a BGG i.V.m. Art. 12 Abs. 2 lit. b der Verordnung vom 30. August 1995 über die Wehrpflichtersatzabgabe [WPEV; SR 661.1]). Die Beschwerde wurde form- und fristgerecht eingereicht (Art. 42 und Art. 100 Abs. 1 BGG). Darauf ist einzutreten.
2.
2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 147 I 73 E. 2.2; 143 IV 241 E. 2.3.1; 140 III 115 E. 2). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Sie hat deshalb substanziiert darzulegen, weswegen diese Voraussetzungen gegeben sein sollen; wird sie dieser Anforderung nicht gerecht, bleibt es beim vorinstanzlich festgestellten Sachverhalt (BGE 140 III 16 E. 1.3.1).
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Motivsubstitution; BGE 141 V 234 E. 1; 139 II 404 E. 3). Die Verletzung von Grundrechten und kantonalem Recht überprüft das Bundesgericht allerdings nur, wenn eine konkrete Rüge in der Beschwerde vorgebracht und begründet worden ist (qualifizierte Rüge- und Substanziierungspflicht gem. Art. 106 Abs. 2 BGG; vgl. BGE 147 I 73 E. 2.1; 143 II 283 E. 1.2.2; 139 I 229 E. 2.2; 138 I 274 E. 1.6).
3.
3.1. Nach Art. 59 Abs. 1 BV ist jeder Schweizer verpflichtet, Militärdienst zu leisten. Schweizer, die weder Militär- noch Ersatzdienst leisten, schulden nach Art. 59 Abs. 3 BV eine Abgabe. Diese Ersatzabgabe ist Gegenstand des WPEG. Nach Art. 1 dieses Gesetzes haben Schweizer Bürger, die ihre Wehrpflicht nicht oder nur teilweise durch persönliche Dienstleistung (Militär- oder Zivildienst) erfüllen, einen Ersatz in Geld zu leisten. Die Abgabe wird jährlich (Art. 25 Abs. 1 WPEG) von den Ersatzpflichtigen, die im Ersatzjahr die Dienstpflicht nicht erfüllt haben (Art. 2 und 8 WPEG), deren Ersatzpflicht noch andauert (Art. 3 WPEG) und die nicht von der Ersatzpflicht befreit sind (Art. 4 und 4a WPEG), auf dem taxpflichtigen Einkommen erhoben (Art. 11 und 12 WPEG). Sie beträgt 3 Franken je 100 Franken des taxpflichtigen Einkommens (Art. 13 Abs. 1 WPEG).
3.2. Das WPEG wurde mit Bundesgesetz vom 16. März 2018 geändert. Die Gesetzesänderung trat am 1. Januar 2019 in Kraft. Sie betraf insbesondere die Dauer der Ersatzpflicht, die in Art. 3 WPEG geregelt ist.
3.2.1. Nach Art. 3 Abs. 1 WPEG in der Fassung vom 16. März 2018 (in Kraft seit dem 1. Januar 2019) beginnt die Ersatzpflicht frühestens am Anfang des Jahres, in dem der Wehrpflichtige das 19. Altersjahr vollendet. Sie dauert längstens bis zum Ende des Jahres, in dem er das 37. Altersjahr vollendet. Art. 3 Abs. 2 WPEG in der Fassung vom 16. März 2018 bestimmt, dass für Wehrpflichtige, die während mehr als sechs Monaten weder in einer Formation der Armee eingeteilt noch der Zivildienstpflicht unterstellt sind, die Ersatzpflicht im Jahr beginnt, das auf die Rekrutierung folgt. Sie dauert elf Jahre.
3.2.2. Nach altem Recht (Art. 3 Abs. 1 aWPEG; AS 2010 6015; in Kraft bis am 31. Dezember 2018) begann die Ersatzpflicht am Anfang des Jahres, in dem der Wehrpflichtige das 20. Altersjahr vollendete. Sie dauerte für nicht in einer Formation der Armee eingeteilte und nicht der Zivildienstpflicht unterstehende Wehrpflichtige bis zum Ende des Jahres, in dem sie das 30. Altersjahr vollendeten (Art. 3 Abs. 2 lit. a aWPEG). Für in einer Formation der Armee eingeteilte oder der Zivildienstpflicht unterstehende Wehrpflichtige dauerte sie längstens bis zum Ende des Jahres, in dem sie das 34. Altersjahr vollenden (Art. 3 Abs. 2 lit. b aWPEG).
4.
Die Vorinstanz war der Auffassung, dass der Beschwerdegegner nach altem Recht nicht bzw. zu keinem Zeitpunkt der Ersatzabgabepflicht unterlegen habe, weil er bereits zum Zeitpunkt seiner Einbürgerung im Jahr 2013 die Alterslimite von 30 Altersjahren nach Art. 30 Abs. 2 lit. a aWPEG überschritten hatte. Die Anwendung der auf den 1. Januar 2019 in Kraft getretenen revidierten Bestimmungen des Militär- und Wehrpflichtersatzabgaberechts auf den Beschwerdegegner würde deshalb eine echte Rückwirkung dieser Gesetzesänderungen bedeuten. Die Vorinstanz kam zum Schluss, dass die Voraussetzungen für eine echte Rückwirkung nicht gegeben seien, wobei sie auf ein Urteil der Verwaltungsrekurskommission des Kantons St. Gallen vom 14. Mai 2020 verwies (auf eine Beschwerde gegen dieses Urteil ist das Bundesgericht nicht eingetreten, weil die beschwerdeführende ESTV den kantonalen Instanzenzug nicht ausgeschöpft hatte: vgl. Urteil 2C_504/2020 vom 17. August 2021 E. 1.3 und 1.5.2). Die ESTV hält die Auffassung der Vorinstanz für bundesrechtswidrig.
4.1. Für die Beurteilung der Frage, welches Recht bei einer Änderung der Rechtsgrundlagen in zeitlicher Hinsicht Anwendung findet, gilt der Grundsatz, dass diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des rechtlich zu ordnenden oder zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 146 V 364 E. 7.1 mit zahlreichen Hinweisen; BGE 140 V 41 E. 6.3.1). Es widerspricht diesem Grundsatz, wenn ein Gesetz an ein Ereignis anknüpft, das sich vor seinem Inkrafttreten ereignet hat und das im Zeitpunkt des Inkrafttretens der neuen Norm abgeschlossen ist (sog. eigentliche oder echte Rückwirkung; BGE 144 I 81 E. 4.1; 138 I 189 E. 3.4; 126 V 134 E. 4a; 122 V 405 E. 3b/aa; vgl. weiterführend MADELEINE CAMPRUBI, Ungeschriebene Grenzen der Rückwirkung von Rechtssätzen in der Schweiz, 2020, S. 23 ff.; MATTHIAS KRADOLFER, Intertemporales öffentliches Recht, 2020, N. 133 ff.). Die echte Rückwirkung ist im Lichte von Art. 5, Art. 8 Abs. 1 und Art. 9 BV nur dann unbedenklich, wenn sie ausdrücklich in einem Gesetz vorgesehen ist oder sich daraus klar ergibt, in einem vernünftigen Rahmen zeitlich limitiert ist, nicht zu stossenden Ungleichheiten führt, einem schutzwürdigen öffentlichen Interesse dient und wohlerworbene Rechte respektiert (BGE 147 V 156 E. 7.2.1; 144 I 81 E. 4.1; 138 I 189 E. 3.4; 126 V 134 E. 4a; 122 V 405 E. 3b/aa). Stehen zwingende öffentliche Interessen auf dem Spiel, ist das neue Recht auch ohne ausdrückliche Gesetzesvorschrift ausnahmsweise sofort anzuwenden, selbst wenn die Vorinstanz den Sachverhalt nach altem Recht beurteilt hat (Art. 2 SchlT ZGB analog; BGE 141 II 393 E. 2.4; 139 II 243 E. 11.1; 135 II 384 E. 2.3; 122 II 26 E. 3; 101 Ib 410 E. 3). Zwingende Gründe für eine sofortige Anwendung des neuen Rechts hat das Bundesgericht insbesondere im Bereich des Gewässer-, Natur-, Heimat- und Umweltschutzrechts als gegeben erachtet (BGE 141 II 393 E. 2.4 mit Hinweisen; 139 II 243 E. 11.1; 135 II 384 E. 2.3).
4.2. Von der echten ist die unechte Rückwirkung zu unterscheiden: Bloss unecht wirkt ein Gesetz zurück, wenn es auf Verhältnisse abstellt, die zwar unter der Herrschaft des alten Rechts entstanden sind, beim Inkrafttreten des neuen Rechts aber noch andauern (sog. Dauersachverhalte; BGE 144 I 81 E. 4.1; 138 I 189 E. 3.4; 126 V 134 E. 4a; 122 V 405 E. 3b/aa). Auch die unechte Rückwirkung gilt nur dann als verfassungsrechtlich unbedenklich, wenn ihr nicht wohlerworbene Rechte entgegenstehen (BGE 144 I 81 E. 4.1; 138 I 189 E. 3.4; 126 V 134 E. 4a; 122 V 405 E. 3b/aa).
4.3. In Bezug auf Rechtsnormen, welche den Eintritt der darin vorgesehenen Rechtsfolge von der Verwirklichung mehrerer Sachverhaltselemente abhängig machen (sog. zusammengesetzte Tatbestände), hat das Bundesgericht erkannt, dass für die Entscheidung der intertemporalrechtlichen Anwendbarkeit massgeblich ist, unter der Herrschaft welcher Norm sich der Sachverhaltskomplex schwergewichtig, überwiegend ereignet hat (BGE 126 V 134 E. 4b; 123 V 25 E. 3a; Urteil 8C_579/2020 vom 6. November 2020 E. 3). Keine echte, sondern nur eine unechte Rückwirkung des neuen Gesetzes liegt demnach vor, wenn es für Sachverhalte Geltung beansprucht, die nach seinem Inkrafttreten eingetreten sind, dabei aber ergänzend auch gewisse Tatsachen berücksichtigt, die vor seinem Inkrafttreten eingetreten sind (sog. Rückanknüpfung; BGE 144 I 81 E. 4.1 mit zahlreichen Hinweisen; 119 V 200 E. 5c/dd).
4.4. Im Bereich des Steuerrechts wird eine unzulässige echte Rückwirkung dann angenommen, wenn die Steuerpflicht als solche an Tatbestände anknüpft, die vor dem Inkrafttreten des Gesetzes liegen (BGE 144 I 81 E. 4.2), nicht aber dann, wenn lediglich der Umfang der Steuerpflicht unter einem geltenden Erlass nach Tatsachen bestimmt wird, die vor dem Inkrafttreten des Steuergesetzes eingetreten sind (BGE 102 Ia 31 E. 3a; Urteile 1C_366/2016 vom 13. Februar 2017 E. 2.1, in: RDAF 2017 II S. 309; 2C_477/2013 vom 16. Dezember 2013 E. 2.4).
4.5. Ordnet ein Bundesgesetz eine echte oder unechte Rückwirkung an, haben die rechtsanwendenden Behörden diese Anordnung zu befolgen, selbst wenn ihnen die Rückwirkung als verfassungsrechtlich bedenklich erscheint (Art. 190 BV; vgl. BGE 140 I 353 E. 4.1; 139 V 307 E. 6.3). Immerhin ist aber aus mehreren möglichen Auslegungen der bundesgesetzlichen Anordnung diejenige zu wählen, die der Verfassung am besten entspricht, wobei auch eine verfassungskonforme Auslegung ihre Grenzen im klaren Wortlaut und Sinn einer Gesetzesbestimmung findet (BGE 145 II 270 E. 4.1; 144 V 333 E. 10.1; 142 V 442 E. 5.1; 140 I 77 E. 5.3).
5.
5.1. Das Bundesgesetz vom 16. März 2018 über die Änderung des WPEG enthält zwar eine Übergangsbestimmung, doch regelt diese nur die erstmalige Erhebung der Abschluss-Ersatzabgabe nach Art. 9a WPEG sowie die intertemporale Anwendung des Gesetzes im Rechtsmittelverfahren (vgl. AS 2018 3274). Aus dem Wortlaut von Art. 3 WPEG erschliesst sich zumindest nicht mit der gebotenen Klarheit, dass diese Bestimmung auch auf vergangene, d.h. abgeschlossene Sachverhalte angewendet werden soll. Die Überlegungen zur Wehrgerechtigkeit der ESTV erreichen nicht das Gewicht eines zwingenden öffentlichen Interesses, das eine sofortige Anwendung des neuen Rechts auf vergangene Sachverhalte geböte. Damit sind die Voraussetzungen für eine (echt) rückwirkende Anwendung von Art. 3 WPEG in der Fassung vom 16. März 2018 nicht gegeben; es gilt der allgemeine intertemporalrechtliche Grundsatz der Nicht-Rückwirkung (vgl. oben E. 4.1). Fragen kann sich deshalb nur, ob sich der relevante Sachverhalt ganz oder überwiegend nach dem Inkrafttreten von Art. 3 WPEG abgespielt hat oder nach diesem Zeitpunkt noch andauerte und er aus diesem Grund von dieser Bestimmung erfasst wird.
5.2. Die Ersatzabgabe knüpft nicht an einen Dauersachverhalt an. Beim hier potenziell einschlägigen Grundtatbestand der Ersatzabgabe handelt es sich vielmehr um einen zusammengesetzten Tatbestand: Relevant sind zunächst nach Art. 2 Abs. 1 WPEG die (Nicht-) Einteilung in einer Formation der Armee, die (Nicht-) Unterstellung unter die Zivildienstpflicht und die (Nicht-) Leistung von Militär- oder Zivildienst im Ersatzjahr, ferner nach Art. 3 Abs. 1 WPEG in der Fassung vom 16. März 2018 das Alter des Ersatzpflichtigen im Ersatzjahr und schliesslich das Datum des Beginns der Ersatzpflicht nach Art. 3 Abs. 2, 3, 4 und 5 WPEG in der Fassung vom 16. März 2018 (vgl. zudem die Befreiungstatbestände gem. Art. 4 und 4a WPEG, die ebenfalls an die Gegebenheiten im Ersatzjahr anknüpfen). Mit Ausnahme des Beginns der Ersatzpflicht handelt es sich dabei um Tatsachen und Zustände, die sich im Ersatzjahr ereignen bzw. im Ersatzjahr bestehen und von diesem zeitlich eingegrenzt werden. Ob die relevanten Tatsachen und Zustände das Ende des Ersatzjahres überdauern, ist ebenso irrelevant wie Tatsachen, die sich erst nach dem Ende des Ersatzjahres ereignen. Daraus folgt, dass Art. 2 und 3 WPEG in der Fassung vom 16. März 2018 jedenfalls dann nach dem Grundsatz der Nicht-Rückwirkung nicht angewandt werden können, wenn das Ersatzjahr vor dem Inkrafttreten dieser Bestimmungen am 1. Januar 2019 endete.
5.3. Vorliegend ist das Ersatzjahr 2018 betroffen. Es fällt nicht in den zeitlichen Geltungsbereich von Art. 2 und 3 WPEG in der Fassung vom 16. März 2018, sondern untersteht altem Recht. Daran ändert auch der Zusammenhang der Ersatzabgabe mit der Militärdienstpflicht nichts, auf den die ESTV in ihrer Beschwerde wiederholt hinweist. Wohl besteht der Sinn der Wehrpflichtersatzabgabe darin, dass diejenigen Personen, die die Dienstpflicht als Hauptpflicht nicht erfüllen und demzufolge die damit verbundenen Belastungen und Nachteile nicht zu tragen haben, einen gewissen Ausgleich leisten (vgl. Urteil 2C_1051/2016 vom 24. August 2017 E. 2.2.2 mit Hinweisen). Es trifft ferner auch zu, dass die Änderung von Art. 3 WPEG dazu diente, die Dauer der Ersatzpflicht an die Dauer der Militärdienstpflicht anzupassen, die ihrerseits per 1. Januar 2018 geändert worden war (Art. 13 Abs. 1 MG i.d.F. vom 18. März 2016 [AS 2016 4279]; vgl. Botschaft vom 6. September 2017 zur Änderung des Bundesgesetzes über die Wehrpflichtersatzabgabe, BBl 2017 6191 S. 6197). Trotz dieses Zusammenhangs hat der Gesetzgeber die Dauer der Ersatzpflicht aber jedenfalls für Personen, die in keine Formation der Armee eingeteilt sind und keinen Zivildienst leisten, in Art. 3 Abs. 1 und 2 WPEG bzw. Art. 3 Abs. 1 und 2 lit. a aWPEG eigenständig geregelt. Er hat darauf verzichtet, den zeitlichen Geltungsbereich der neuen Regelung auf die Zeit vor ihrem Inkrafttreten auszudehnen. Wie bereits erwähnt (vgl. oben E. 5.1) erreichen die Wehrgerechtigkeitsüberlegungen der ESTV nicht das Gewicht eines zwingenden öffentlichen Interesses. Dementsprechend vermögen sie das Ersatzjahr 2018 nicht zu einem "Grenzfall" zu machen, für das sich auch ohne entsprechende gesetzliche Anordnung eine mässige Rückwirkung von einem Jahr rechtfertigte, wie die ESTV meint (vgl. Beschwerde, S. 5 Ziff. 6).
6.
Der Beschwerdegegner hatte die Altersgrenze von 30 Altersjahren gemäss Art. 3 Abs. 2 lit. a aWPEG bereits im Zeitpunkt seiner Einbürgerung im Jahr 2013 erreicht und schuldete für das Jahr 2018 nach dem damals in Kraft stehenden Recht keine Ersatzabgabe. Es ist folglich bundesrechtlich jedenfalls im Ergebnis nicht zu beanstanden, dass die Vorinstanz dem Beschwerdegegner für das Jahr 2018 keine Ersatzabgabe auferlegt hat. Ob für die Folgejahre eine unzulässige Rückwirkung vorliegt, wie die Vorinstanz unter Verweisung auf das Urteil der Verwaltungsrekurskommission des Kantons St. Gallen vom 14. Mai 2020 anzunehmen scheint, braucht an dieser Stelle nicht geklärt zu werden, zumal alleine das Ersatzjahr 2018 im Streit liegt.
7.
7.1. Die Beschwerde ist unbegründet und abzuweisen.
7.2. Die Gerichtskosten werden in der Regel der unterliegenden Partei auferlegt (Art. 65 i.V.m. 66 Abs. 1 Satz 1 BGG). Übrige Verfahrensbeteiligte im Sinne von Art. 102 Abs. 1 BGG gelten an sich nicht als kostenpflichtige Parteien im Sinne von Art. 66 BGG. Anders verhält es sich jedoch, wenn sich der Verfahrensbeteiligte wie eine Partei verhält und Anträge stellt, sofern er nicht ohnehin nach Art. 66 Abs. 4 BGG von der Kostenpflicht befreit ist (vgl. Urteile 1C_665/2017 vom 16. Januar 2019 E. 7; 2C_64/2013 / 2C_65/2013 vom 26. September 2014 E. 4.2.2, in: StE 2014 A 42 Nr. 3; 2C_116/2011 bis 2C_118/2011 vom 29. August 2011 E. 12.3; vgl. auch BGE 127 V 107 E. 6b). Die Wehrpflichtersatzverwaltung des Kantons Solothurn hat sich vernehmen lassen und Anträge gestellt, die mit jenen der ESTV übereinstimmen. Der Kanton Solothurn hat ein Vermögensinteresse an der Gutheissung der Beschwerde, wird er doch mit einer Bezugsprovision von 20 % des Rohertrags an den Einnahmen aus der Wehrpflichtersatzabgabe beteiligt (vgl. Art. 45 WPEG). Für die Zwecke der Kostenverteilung ist der Kanton Solothurn daher als (unterliegende) Partei zu behandeln (Urteile 1C_665/2017 vom 16. Januar 2019 E. 7; 2C_64/2013 / 2C_65/2013 vom 26. September 2014 E. 4.2.2, in: StE 2014 A 42 Nr. 3; 2C_116/2011 bis 2C_118/2011 vom 29. August 2011 E. 12.3). In Abweichung von Art. 66 Abs. 5 BGG rechtfertigt es sich mit Blick auf die Höhe der Bezugsprovision des Kantons Solothurn, die Kosten ihm zu 20 % und zu 80 % der ESTV aufzuerlegen, wobei beide solidarisch für den Gesamtbetrag haften.
7.3. Der Beschwerdegegner hat sich vor Bundesgericht selbst vertreten. Ihm steht daher praxisgemäss kein Anspruch auf Entschädigung von Auslagen zu, zumal keine besonderen Verhältnisse ersichtlich sind (vgl. Art. 11 des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht [SR 173.110.210.3]).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden unter solidarischer Haftung zu Fr. 1'600.-- der Eidgenössischen Steuerverwaltung und zu Fr. 400.-- dem Kanton Solothurn auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonalen Steuergericht Solothurn mitgeteilt.
Lausanne, 26. April 2022
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: F. Aubry Girardin
Der Gerichtsschreiber: Seiler