Erwägungen:
1.
Mit Entscheid vom 20. Januar 2021 erteilte das Kreisgericht St. Gallen dem Beschwerdegegner gegenüber der Beschwerdeführerin in der Betreibung Nr. zzz des Betreibungsamtes St. Gallen definitive Rechtsöffnung für Fr. 2'000.--.
Dagegen erhob die Beschwerdeführerin am 24. Januar 2021 Beschwerde. Am 2. Februar 2021 zahlte die Beschwerdeführerin die Betreibungsforderung einschliesslich Kosten an das Betreibungsamt. Mit Entscheid vom 17. März 2021 schrieb das Kantonsgericht St. Gallen das Verfahren als gegenstandslos ab. Das Kantonsgericht auferlegte der Beschwerdeführerin die Kosten von Fr. 150.--.
Gegen diesen Entscheid hat die Beschwerdeführerin am 18. April 2021 (Postaufgabe) subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben.
2.
Die Beschwerde ist nicht nur von B._ als einzelzeichnungsberechtigter Gesellschafterin der Beschwerdeführerin unterzeichnet, sondern auch von C._, der sich als "amtlich beglaubigter Generalbevollmächtigter" bezeichnet. Es ist nicht klar, wen er vertreten will. Es wird zwar eine Generalvollmacht von D._ erwähnt, doch ist dieser nicht Partei des vorliegenden Verfahrens. C._ ist vorliegend auch nicht persönlich Partei. Die ihm in einem anderen Verfahren auferlegte Busse ist nicht Gegenstand des vorliegenden Rechtsöffnungsverfahrens und deren Aufhebung kann in diesem Verfahren nicht verlangt werden.
3.
Die subsidiäre Verfassungsbeschwerde (Art. 113 ff. BGG) ist vorliegend das zutreffende Rechtsmittel (Art. 74 Abs. 1 lit. b und Abs. 2 lit. a BGG). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368).
4.
Die Beschwerdeführerin legt nicht dar, inwiefern der angefochtene Entscheid gegen verfassungsmässige Rechte verstossen soll. Stattdessen äussert sie sich weitschweifig zu anderen Themen, insbesondere zur angeblichen Unterwanderung des Kantons St. Gallen durch E._.
5.
Die Beschwerde ist offensichtlich unzulässig und sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. a und b BGG).
6.
Bei diesem Ausgang des Verfahrens trägt die Beschwerdeführerin die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 250.-- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter für Beschwerden SchKG, schriftlich mitgeteilt.
Lausanne, 26. Mai 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg