Erwägungen:
1.
Mit Entscheid vom 7. Januar 2021 wies das Kreisgericht St. Gallen eine Klage der Beschwerdeführerin ab und verpflichtete sie, der Beschwerdegegnerin eine Parteientschädigung von Fr. 4'374.-- zu bezahlen. Auf die dagegen erhobene Berufung trat das Kantonsgericht St. Gallen mit Entscheid vom 13. Juli 2021 nicht ein. Auf die dagegen erhobene Beschwerde trat das Bundesgericht ebenfalls nicht ein (Urteil 4A_405/2021 vom 5. November 2021).
Mit Zahlungsbefehl Nr. xxx des Betreibungsamtes Gossau vom 15. Juli 2021 setzte die Beschwerdegegnerin die Parteientschädigung in Betreibung. Die Beschwerdeführerin erhob Rechtsvorschlag.
Am 24. August 2021 ersuchte die Beschwerdegegnerin das Kreisgericht St. Gallen um definitive Rechtsöffnung. Mit Entscheid vom 26. Oktober 2021 wies das Kreisgericht das Gesuch ab.
Dagegen erhob die Beschwerdegegnerin am 28. Oktober 2021 Beschwerde. Mit Entscheid vom 17. Dezember 2021 hob das Kantonsgericht St. Gallen den angefochtenen Entscheid auf. Es erteilte der Beschwerdegegnerin in der Betreibung Nr. xxx des Betreibungsamtes Gossau definitive Rechtsöffnung für Fr. 4'374.-- nebst Zins.
Dagegen hat die Beschwerdeführerin am 19. Januar 2022 Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist die Beschwerde in Zivilsachen unzulässig und die Eingabe als subsidiäre Verfassungsbeschwerde zu behandeln (Art. 113 ff. BGG). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368).
3.
Das Kreisgericht hat das Rechtsöffnungsgesuch abgewiesen. Die Parteientschädigung sei im Zeitpunkt des Erlasses des Zahlungsbefehls noch nicht fällig gewesen, da der Nichteintretensentscheid des Kantonsgerichts damals noch nicht zugestellt gewesen sei.
Das Kantonsgericht hat demgegenüber erwogen, es komme nicht auf den Zeitpunkt der Ausstellung des Zahlungsbefehls, sondern auf den Zeitpunkt seiner Zustellung (16. August 2021) an. Das Kreisgericht habe die Fälligkeit zu Unrecht als nicht gegeben erachtet. Die Beschwerdeführerin erhebe keine Einwendungen nach Art. 81 Abs. 1 SchKG, womit definitive Rechtsöffnung zu erteilen sei.
4.
Die Beschwerdeführerin beruft sich auf den Entscheid des Kreisgerichts. Sie legt jedoch nicht dar, weshalb der gegenteilige Entscheid des Kantonsgerichts gegen verfassungsmässige Rechte verstossen soll. Im Übrigen bestreitet sie offenbar die Rechtmässigkeit des als Rechtsöffnungstitel dienenden Entscheids, indem sie geltend macht, es sei auf unwahre Verträge und Grundbuchnachträge abgestellt worden. Sie legt auch diesbezüglich nicht dar, inwiefern im Rechtsöffnungsverfahren verfassungsmässige Rechte verletzt worden sein sollen. Die Rechtmässigkeit des Rechtsöffnungstitels kann im Rechtsöffnungsverfahren grundsätzlich ohnehin nicht überprüft werden. Nicht Gegenstand des vorliegenden Verfahrens sind schliesslich Schadenersatz- und Genugtuungsforderungen gegen die Beschwerdegegnerin.
Die Beschwerde ist demnach offensichtlich unzulässig und sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. a und b BGG).
5.
Bei diesem Ausgang des Verfahrens trägt die Beschwerdeführerin die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter für Beschwerden SchKG, mitgeteilt.
Lausanne, 4. Februar 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg