Erwägungen:
1.
Mit Entscheid vom 22. Oktober 2019 erteilte das Bezirksgericht Baden der Beschwerdegegnerin gegenüber dem Beschwerdeführer in der Betreibung Nr. xxx des Betreibungsamtes V._ definitive Rechtsöffnung für Fr. 12'098.-- nebst Zins und Kosten.
Dagegen erhob der Beschwerdeführer am 1. November 2019 Beschwerde. Mit Entscheid vom 6. Dezember 2019 wies das Obergericht des Kantons Aargau die Beschwerde ab, soweit es darauf eintrat.
Gegen diesen Entscheid hat der Beschwerdeführer am 4. Januar 2020 Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist gegen den angefochtenen Entscheid nur die subsidiäre Verfassungsbeschwerde zulässig (Art. 113 ff. BGG). Mit der Verfassungsbeschwerde kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368).
3.
Das Bezirksgericht hat erwogen, der eingereichte, von der Vormundschaftsbehörde U._ am 25. Oktober 2001 genehmigte Unterhaltsvertrag stelle einen definitiven Rechtsöffnungstitel dar. Darin habe sich der Beschwerdeführer verpflichtet, für seine Tochter B._ (geb. 2001) vom 13. Lebensjahr bis zum ordentlichen Abschluss einer angemessenen Ausbildung, mindestens bis zur Mündigkeit, einen indexierten monatlichen Unterhaltsbeitrag von Fr. 750.-- zu bezahlen. Die Beschwerdegegnerin habe die Bevorschussung der Alimentenzahlung nachgewiesen und sei in die Rechtsstellung der Unterhaltsberechtigten eingetreten. Nicht im Rechtsöffnungsverfahren sei der Einwand des Beschwerdeführers zu prüfen, B._ habe mehrheitlich bei ihrer Grossmutter gelebt, wobei sich die Mutter nicht am Unterhalt beteiligt habe und deshalb die Unterhaltsbeiträge zu Unrecht bevorschusst worden seien. Es hätte dem Beschwerdeführer freigestanden, eine Abänderung des Unterhaltsvertrags zu verlangen. Dabei handle es sich um eine dem Sachrichter vorbehaltene materiellrechtliche Frage.
Das Obergericht hat erwogen, der Beschwerdeführer setze sich in seiner Beschwerde nicht mit diesen Erwägungen auseinander. Er zeige nicht auf, inwiefern der erstinstanzliche Entscheid fehlerhaft sein soll und dies sei auch nicht ersichtlich.
4.
Vor Bundesgericht geht der Beschwerdeführer nicht auf diese Erwägungen des Obergerichts ein und er zeigt nicht auf, inwiefern verfassungsmässige Rechte verletzt worden sein sollen. Stattdessen schildert er die Auseinandersetzungen betreffend seine Tochter und erhebt Vorwürfe gegen verschiedene Behörden. Das Rechtsöffnungsverfahren bzw. das einen Rechtsöffnungsentscheid betreffende bundesgerichtliche Verfahren dient jedoch nicht dazu, angebliche Behörden- und Justizfehler aufzuarbeiten, die keinen Zusammenhang mit dem in Frage stehenden Rechtsöffnungsentscheid haben.
Die Beschwerde ist damit offensichtlich mangelhaft begründet. Auf sie ist im vereinfachten Verfahren durch den Abteilungspräsidenten nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).

Demnach erkennt der Präsident:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 8. Januar 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Zingg