Sachverhalt:
A.
A._ (geb. 1986) ist verheiratet und lebt in U._/SG. Am 2. Juni 2011 erhielt er das Schweizer Bürgerrecht. Da er im selben Jahr das 25. Altersjahr vollendete, wurde er nicht mehr für den Militärdienst rekrutiert, sondern der Ersatzabgabepflicht unterstellt. Bis zum Erreichen des 30. Altersjahres leistete er in den Jahren 2012 bis 2016 Wehrpflichtersatz. Für das Jahr 2017 wurde ihm keine Abgabe mehr auferlegt.
Am 1. Januar 2018 trat die Teilrevision des Bundesgesetzes vom 3. Februar 1995 über die Armee und die Militärverwaltung (MG; SR 510.10) in Kraft, am 1. Januar 2019 die Teilrevision des Bundesgesetzes vom 12. Juni 1959 über die Wehrpflichtersatzabgabe (WEPG; SR 661).
B.
Gestützt auf die neuen gesetzlichen Grundlagen wurde A._ für das Jahr 2018 auf der Grundlage des für die direkte Bundessteuer gültigen steuerbaren Einkommens von Fr. 54'500.-- am 1. Oktober 2019 eine Wehrpflichtersatzabgabe in der Höhe von Fr. 1'404.-- in Rechnung gestellt. Dagegen erhob A._ am 30. Oktober 2019 Einsprache. Das Amt für Militär und Zivilschutz des Kantons St. Gallen wies diese mit Entscheid vom 4. November 2019 ab. Die dagegen erhobene Beschwerde hiess die Verwaltungsrekurskommission des Kantons St. Gallen mit Entscheid vom 14. Mai 2020 gut. Sie befand erstens, dass das Amt für Militär und Zivilschutz <ref-law> verletzt habe, indem es die Einsprache ohne genügende Begründung abgewiesen habe, und zweitens, dass die Erhebung der Wehrpflichtersatzabgabe im Falle von A._ eine Rückwirkung der Gesetzesänderung voraussetze, die sich als unzulässig erweise.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. Juni 2020 beantragt die Eidgenössische Steuerverwaltung (ESTV), das Urteil der Verwaltungsrekurskommission sei aufzuheben und der Einspracheentscheid vom 4. November 2019 der kantonalen Bezugsbehörde sei zu bestätigen.
Die Verwaltungsrekurskommission des Kantons St. Gallen und A._ beantragen die Abweisung der Beschwerde. Für den Fall der Gutheissung der Beschwerde beantragt die Verwaltungsrekurskommission, dass A._ keine Kosten aufzuerlegen seien.

Erwägungen:
1.
1.1. Nach <ref-law> ist die Beschwerde zulässig gegen Entscheide letzter kantonaler Instanzen, sofern nicht die Beschwerde an das Bundesverwaltungsgericht zulässig ist. Gemäss <ref-law> setzen die Kantone als unmittelbare Vorinstanzen des Bundesgerichts obere Gerichte ein, soweit nicht nach einem anderen Bundesgesetz Entscheide anderer richterlicher Behörden an das Bundesgericht unterliegen. In der Fassung, die bis am 31. Dezember 2018 in Kraft stand, sah Art. 31 Abs. 3 aWPEG vor, dass der Entscheid der kantonalen Rekurskommission direkt beim Bundesgericht angefochten werden konnte. Nach der aktuellen Fassung von <ref-law> kann die Beschwerde beim Bundesgericht demgegenüber nur noch nach Massgabe des Bundesgerichtsgesetzes gegen den Entscheid der letzten kantonalen Instanz erhoben werden. Bei dieser letzten Instanz handelt es sich gemäss <ref-law> um ein oberes Gericht (vgl. Botschaft vom 6. September 2017 zur Änderung des Bundesgesetzes über die Wehrpflichtersatzabgabe, BBl 2017 6209, 6211).
1.2. Nach Abs. 2 der Übergangsbestimmung zur Änderung des WPEG vom 16. März 2018 werden Einsprache- und Beschwerdeverfahren nach bisherigem Recht beurteilt, wenn sie am 1. Januar 2019 (Datum des Inkrafttretens der Gesetzesänderung) bereits hängig waren. Die Verfügung des Amts für Militär und Zivilschutz, die am Ursprung des vorliegenden Verfahrens steht, datiert vom 1. Oktober 2019. Das Beschwerdeverfahren richtet sich folglich nach neuem Recht.
1.3. Die Beschwerde richtet sich gegen einen Entscheid der Verwaltungsrekurskommission des Kantons St. Gallen. Dagegen ist die Beschwerde an das Bundesgericht nach neuem Recht nicht mehr zulässig. Vielmehr ist zunächst der kantonale Instanzenzug auszuschöpfen. Nach Art. 59 Abs. 1 des Gesetzes über die Verwaltungsrechtspflege des Kantons St. Gallen vom 16. Mai 1965 (VRP/SG; sGS 951.1) kann gegen Entscheide der Verwaltungsrekurskommission Beschwerde beim Verwaltungsgericht des Kantons St. Gallen erhoben werden.
1.4. Das Bundesgericht verzichtet in konstanter Praxis auf das Erfordernis der Erschöpfung des kantonalen Instanzenzuges, wenn an der Zulässigkeit eines Rechtsmittels ernsthafte Zweifel bestehen (<ref-ruling> E. 1.3; <ref-ruling> E. 1.5; Urteil 1C_175/2019 vom 12. Februar 2020 E. 1.3.6). Solche Zweifel bestehen nach den vorstehenden Erwägungen nicht.
1.5.
1.5.1. Unter dem Gesichtspunkt von Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV) ist zu beachten, dass der angefochtene Entscheid eine Rechtsmittelbelehrung enthält, nach welcher gegen den Entscheid der Verwaltungsrekurskommission beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben werden könne. Aus einer unrichtigen Rechtsmittelbelehrung dürfen den Parteien keine Nachteile erwachsen (<ref-law>; Art. 64 i.V.m. 47 Abs. 3 VRP/SG; <ref-ruling> E. 1.3.1; <ref-ruling> E. 1.6 S. 96). Wird aufgrund einer unrichtigen Belehrung ein falsches Rechtsmittel ergriffen, kann die Sache daher von Amtes wegen an die zuständige Instanz überwiesen werden (<ref-ruling> E. 1.3.1; <ref-ruling> E. 8b). Allerdings geniesst nur Vertrauensschutz, wer die Unrichtigkeit der Rechtsmittelbelehrung nicht kennt und sie auch bei gebührender Aufmerksamkeit nicht hätte erkennen können, wobei einzig eine grobe prozessuale Unsorgfalt der betroffenen Partei oder ihres Anwalts eine unrichtige Rechtsmittelbelehrung aufzuwiegen vermag (<ref-ruling> E. 8.3.2; <ref-ruling> E. 1.2.2.1). Wann der Prozesspartei, die sich auf eine unrichtige Rechtsmittelbelehrung verlassen hat, eine als grob zu wertende Unsorgfalt vorzuwerfen ist, beurteilt sich nach den konkreten Umständen und nach ihren Rechtskenntnissen (BGE <ref-ruling> E. 1.2.2.2; <ref-ruling> E. 4). Von rechtskundigen oder rechtskundig vertretenen Parteien wird verlangt, dass sie die Rechtsmittelbelehrungen stets einer Grobkontrolle unterziehen (vgl. <ref-ruling> E. 8.3.2; <ref-ruling> E. 1.2.2.2). Dagegen wird auch von ihnen nicht erwartet, dass sie neben den Gesetzestexten auch noch die einschlägige Rechtsprechung oder Literatur nachschlagen (<ref-ruling> E. 3.3; <ref-ruling> E. 8.3.2).
1.5.2. Die ESTV ist die Aufsichtsbehörde im Bereich der Wehrpflichtersatzabgabe (Art. 11 der Verordnung vom 30. August 1995 über die Wehrpflichtersatzabgabe [WPEV; SR 661.1]). Sie sorgt für eine gleichmässige Handhabung der Bundesvorschriften (<ref-law>) und ist insbesondere befugt, beim Bundesgericht Beschwerde zu erheben sowie Revisions- und Berichtigungsbegehren zu stellen (<ref-law>). Laut der Botschaft zur Änderung des WPEG sollte die ESTV überdies die kantonalen Wehrpflichtersatzbehörden in einem speziellen Ausbildungsseminar auf die neuen Vorgaben und die neue Praxis vorbereiten (vgl. Botschaft, a.a.O., BBl 2017 6205 Ziff. 1.4).
Angesichts dieser Aufgaben und Kompetenzen der ESTV darf unterstellt werden, dass sie mit der Änderung des WPEG vom 16. März 2018 bestens vertraut ist. Dies gilt umso mehr, als sie sich für ihren Standpunkt in der Sache gerade auf die neuen Bestimmungen beruft und für eine rückwirkende Anwendung derselben plädiert. Angesichts des klaren Wortlauts von Art. 22 Abs. 3, <ref-law>, Abs. 2 der Übergangsbestimmung vom 16. März 2018 und <ref-law> und der profunden Rechtskenntnisse der ESTV in diesem Bereich muss es als grobfahrlässig bezeichnet werden, dass sie im vorliegenden Verfahren Beschwerde beim Bundesgericht erhebt, bevor der kantonale Instanzenzug ausgeschöpft wurde. Die ESTV kann sich daher nicht in guten Treuen auf ihr Vertrauen in die Richtigkeit der Rechtsmittelbelehrung berufen. Eine fristwahrende Überweisung des Verfahrens an das Verwaltungsgericht kommt unter diesen Umständen nicht infrage.
2.
Nach dem Gesagten ist auf die Beschwerde nicht einzutreten. Die ESTV verfolgt Vermögensinteressen; sie trägt die Gerichtskosten (Art. 66 Abs. 1 und 4 BGG). Der Beschwerdegegner ist nicht anwaltlich vertreten und hatte soweit ersichtlich auch keine anderen notwendigen Kosten. Er hat keinen Anspruch auf Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'500.-- werden der Eidgenössischen Steuerverwaltung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und der Verwaltungsrekurskommission des Kantons St. Gallen, Abteilung I, 2. Kammer, schriftlich mitgeteilt.
Lausanne, 17. August 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Seiler