Erwägungen:
1.
Mit Gesuch vom 18. August 2021 ersuchte die Beschwerdegegnerin in der Betreibung Nr. xxx des Betreibungsamtes U._ das Bezirksgericht Winterthur um provisorische Rechtsöffnung. Mit Verfügung vom 20. August 2021 setzte das Bezirksgericht dem Beschwerdeführer Frist zur Stellungnahme an, wobei es androhte, dass das Gericht bei Säumnis aufgrund der Akten entscheiden werde. Innert Frist ging keine Stellungnahme ein. Mit in unbegründeter Form erlassenem Urteil vom 7. September 2021 erteilte das Bezirksgericht der Beschwerdegegnerin in der genannten Betreibung provisorische Rechtsöffnung für Fr. 3'947.10 nebst Zins, Kosten und Entschädigung. Mit Eingaben vom 7. und 13. September 2021 (jeweils Postaufgabe) erhob der Beschwerdeführer beim Bezirksgericht Beschwerde. Am 15. September 2021 versandte das Bezirksgericht die begründete Fassung des Urteils.
Dagegen erhob der Beschwerdeführer am 20. September 2021 Beschwerde beim Obergericht des Kantons Zürich. Mit Beschluss vom 20. Januar 2022 trat das Obergericht auf die Beschwerde nicht ein.
Dagegen hat der Beschwerdeführer am 3. Februar 2022 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (<ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>).
Der Entscheid des Obergerichts ist ein Nichteintretensentscheid. Thema des bundesgerichtlichen Verfahrens ist demnach einzig, ob das Obergericht gegen verfassungsmässige Rechte verstossen hat, indem es auf die kantonale Beschwerde nicht eingetreten ist. Diesbezüglich müsste der Beschwerdeführer anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darlegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368). Der Beschwerdeführer setzt sich nicht mit den obergerichtlichen Erwägungen (mangelnde Auseinandersetzung mit dem bezirksgerichtlichen Entscheid in der Beschwerde vom 20. September 2021; Unbeachtlichkeit der Eingaben vom 7. und 13. September 2021 im bezirksgerichtlichen und im Beschwerdeverfahren; Novenausschluss im Beschwerdeverfahren) auseinander und er nennt keine verfassungsmässigen Rechte, die verletzt worden sein sollen. Stattdessen macht er insbesondere geltend, er sei der Geschädigte, und nicht die Beschwerdegegnerin, und die Kreditkarte sei ihm gestohlen worden.
Die Beschwerde enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch den Abteilungspräsidenten nicht einzutreten (Art. 117 i.V.m. <ref-law>).
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, mitgeteilt.
Lausanne, 25. Februar 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Zingg