Erwägungen:
1.
Mit Entscheid vom 4. September 2018 erteilte das Bezirksgericht Aarau der Beschwerdegegnerin gegenüber dem Beschwerdeführer in der Betreibung Nr. xxx des Regionalen Betreibungsamtes V._ definitive Rechtsöffnung für Fr. 23'676.-- nebst Zins. Die Rechtsöffnung wurde erteilt für Kindesunterhaltsbeiträge gemäss dem Urteil des Gerichtskreises II Biel-Nidau vom 15. Februar 2006, die durch die Beschwerdegegnerin bevorschusst worden waren.
Gegen den Rechtsöffnungsentscheid erhob der Beschwerdeführer am 13. September 2018 Beschwerde an das Obergericht des Kantons Aargau. Mit Entscheid vom 5. November 2018 trat das Obergericht auf die Beschwerde mangels genügender Begründung nicht ein.
Gegen diesen Entscheid hat der Beschwerdeführer am 4. Dezember 2018 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des tiefen Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (Art. 113 ff. BGG). In einer subsidiären Verfassungsbeschwerde kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368).
3.
Der Beschwerdeführer macht geltend, er und seine Familie lebten vom Sozialamt, er sei seit dem 7. September 2016 krankgeschrieben und die IV prüfe eine Rente, mit seiner jetzigen Frau habe er seit 2007 einen Sohn, was er bei der Beschwerdegegnerin und den Sozialdiensten in W._ für eine Neuberechnung des Unterhalts angemeldet habe, doch hätten sie sich nie darum gekümmert, er habe seine Tochter seit dem 5. April 1999 nur einmal gesehen, er habe in einem früheren Rechtsöffnungsverfahren Recht erhalten und es gehe immer noch um dieselbe Sache. Der Beschwerdeführer wiederholt damit im Wesentlichen bloss, was er bereits vor Bezirks- und Obergericht vorgetragen hat und was bereits vor Obergericht den Begründungsanforderungen nicht genügte. Mit keinem Wort setzt sich der Beschwerdeführer damit auseinander, dass seine Beschwerde an das Obergericht ungenügend begründet war. Im Übrigen liegt es am Beschwerdeführer, ein Verfahren auf Abänderung des Scheidungsurteils anzuheben, worauf ihn bereits das Bezirksgericht aufmerksam gemacht hat.
Die Beschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
4.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Er stellt kein Gesuch um unentgeltliche Rechtspflege. Da die Beschwerde aussichtslos war, wäre ein solches Gesuch ohnehin abzuweisen.
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 7. Dezember 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg