Erwägungen:
1.
Mit Entscheid vom 2. September 2021 erteilte das Bezirksgericht Frauenfeld der Beschwerdegegnerin gegenüber dem Beschwerdeführer in der Betreibung Nr. xxx des Betreibungsamtes Frauenfeld die definitive Rechtsöffnung für Fr. 3'332.75 nebst Zins.
Dagegen erhob der Beschwerdeführer am 4. September 2021 Beschwerde. Mit Entscheid vom 23. September 2021 wies das Obergericht des Kantons Thurgau die Beschwerde ab, soweit es darauf eintrat.
Am 2. Oktober 2021 hat sich der Beschwerdeführer in Bezug auf diesen Entscheid an das Obergericht gewandt. Das Obergericht hat die Eingabe dem Bundesgericht übermittelt (<ref-law>). Am 11. Oktober 2021 hat sich der Beschwerdeführer mit einer als "Beschwerdeschrift" bezeichneten Eingabe direkt an das Bundesgericht gewandt. Das Bundesgericht hat die Akten beigezogen.
2.
2.1. Mit der Eingabe vom 2. Oktober 2021 wendet sich der Beschwerdeführer an das Obergericht und kündet an, Beschwerde an das Bundesgericht zu erheben, wenn das Obergericht die Angelegenheit nicht neu beurteilt. Das Obergericht hat dem Beschwerdeführer die Weiterleitung dieser Eingabe an das Bundesgericht mitgeteilt. Der Beschwerdeführer hat sich weder gegen die Weiterleitung noch gegen die darauf gestützte Eröffnung eines Verfahrensdossiers durch das Bundesgericht ausgesprochen. Es ist demnach davon auszugehen, dass der Beschwerdeführer mit der Behandlung seiner Eingabe vom 2. Oktober 2021 durch das Bundesgericht (zusammen mit der Eingabe vom 11. Oktober 2021) einverstanden ist, zumal er in der Eingabe vom 11. Oktober 2021 auf diejenige vom 2. Oktober 2021 verweist.
2.2. In beiden Eingaben erhebt der Beschwerdeführer Klage gegen die Beschwerdegegnerin über Fr. 6'000.--. Das Bundesgericht ist grundsätzlich nur zur Behandlung von Beschwerden gegen letztinstanzliche kantonale Entscheide zuständig (vgl. <ref-law>), nicht jedoch zur (erstinstanzlichen) Behandlung von Forderungsklagen. Der Beschwerdeführer hat sich diesbezüglich an diejenige Instanz zu wenden, die für die erstinstanzliche Behandlung seiner Klage zuständig ist.
2.3. Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (<ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) sind die beiden Eingaben des Beschwerdeführers im Übrigen als subsidiäre Verfassungsbeschwerde zu behandeln (<ref-law>). Mit der Verfassungsbeschwerde kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. <ref-law> in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368).
3.
Das Obergericht ist wie das Bezirksgericht vom Vorliegen eines definitiven Rechtsöffnungstitels (Verfügung vom 16. September 2020 betreffend Rückforderung einer Einmalvergütung für kleine Photovoltaikanlagen, wobei die Beschwerdegegnerin als Vollzugsstelle des Bundes gehandelt habe) ausgegangen. Der Beschwerdeführer mache einzig geltend, keine Vergütung erhalten zu haben. Damit bestreite er den Bestand der Forderung. Das Rechtsöffnungsgericht habe sich jedoch mit dem materiellen Bestand der Forderung und der Richtigkeit der Verfügung nicht zu befassen. Dafür hätte der Beschwerdeführer die Verfügung vom 16. September 2020 anfechten müssen.
4.
Vor Bundesgericht erhebt der Beschwerdeführer keine ausdrückliche Rüge, dass bestimmte verfassungsmässige Rechte verletzt worden sein sollen. Im Einzelnen macht er geltend, er habe von der Beschwerdegegnerin keine Einmalvergütung erhalten bzw. sie habe keinen Beweis erbracht, dass er je eine Einmalvergütung erhalten habe. Er äussert seine Enttäuschung darüber, dass das Obergericht diesen Einwand nicht berücksichtigt habe. Er setzt sich jedoch nicht mit der obergerichtlichen Begründung dafür auseinander, weshalb seine entsprechenden Vorbringen nicht berücksichtigt wurden, nämlich deshalb, weil der Bestand der Rückforderung der Beschwerdegegnerin nicht Gegenstand des Rechtsöffnungsverfahrens ist. Er zeigt somit nicht auf, weshalb das Obergericht seinen Einwand hätte berücksichtigen müssen bzw. inwiefern das Obergericht in diesem Zusammenhang gegen verfassungsmässige Rechte verstossen haben soll. Der Beschwerdeführer beruft sich sodann auf Verjährung. Dies hätte er im kantonalen Verfahren vorbringen müssen. Er macht weder geltend noch belegt er, dass er dies getan hätte und die kantonalen Instanzen den entsprechenden Einwand übergangen hätten. Ausserdem wirft er die Frage auf, weshalb keine Beschwerdeantwort eingeholt worden sei. Das Obergericht hat diesbezüglich auf <ref-law> verwiesen, worauf der Beschwerdeführer nicht eingeht. Durch den Verzicht auf Einholung einer Beschwerdeantwort hat er zudem keinen Nachteil erlitten.
Die Verfassungsbeschwerde enthält damit keine genügenden Rügen. Auf sie kann nicht eingetreten werden.
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 5. November 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg