Erwägungen:
1.
Die Beschwerdegegnerin ersuchte am 11. Oktober 2016 das Bezirksgericht Horgen um Erteilung der provisorischen Rechtsöffnung für Fr. 5'241.50 und für die Betreibungskosten (Betreibung Nr. xxx des Betreibungsamtes Sihltal; Zahlungsbefehl vom 14. März 2016). Am 17. Oktober 2017 wurde dem Beschwerdeführer Frist für eine schriftliche Stellungnahme angesetzt. Der Beschwerdeführer hat sich nicht vernehmen lassen. Mit unbegründetem Urteil vom 7. November 2016 erteilte das Bezirksgericht provisorische Rechtsöffnung für Fr. 5'241.50, für die Betreibungskosten von Fr. 73.30 und für Kosten und Entschädigung gemäss diesem Urteil. Der Beschwerdeführer verlangte am 14. November 2016 die Begründung jenes Urteils.
Am 15. Dezember 2016 erhob der Beschwerdeführer Beschwerde an das Obergericht des Kantons Zürich. Mit Beschluss vom 31. März 2017trat es auf die Beschwerde nicht ein.
Dagegen hat der Beschwerdeführer am 17. Mai 2017 Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des tiefen Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist einzig die subsidiäre Verfassungsbeschwerde zulässig (Art. 113 ff. BGG). In einer subsidiären Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (Art. 116 BGG). Diese ist zu begründen (Art. 117 i.V.m. Art. 106 Abs. 2 BGG), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399). Ansonsten wird auf die Beschwerde nicht eingetreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
3.
Das Obergericht hat zunächst erwogen, aus der Beschwerde des Beschwerdeführers gehe hervor, dass er auch Klage gegen das Rechtsöffnungsurteil vom 7. November 2016 erheben möchte. Falls er damit die Aberkennungsklage meine, so wäre diese verspätet und das Obergericht im Übrigen zur Behandlung nicht zuständig.
Der Beschwerdeführer habe sodann in seiner Beschwerde vom 15. Dezember 2016 erstmals Tatsachenbehauptungen vorgebracht. Diese Behauptungen seien verspätet (Art. 326 Abs. 1 ZPO). Er habe ausserdem dem Bezirksgericht nach Eröffnung des unbegründeten Urteils eine Eingabe eingereicht. Diese sei unbeachtlich, da sie nach Ablauf der mit Verfügung vom 17. Oktober 2016 angesetzten Frist zur Stellungnahme eingereicht worden sei. Mit den Erwägungen des bezirksgerichtlichen Urteils setze sich der Beschwerdeführer nicht auseinander.
4.
Der Beschwerdeführer wirft dem Obergericht vor, auf seine Beschwerde nicht eingegangen zu sein. Das Obergericht hat jedoch erläutert, weshalb es dies nicht getan hat. Mit den entsprechenden Erwägungen des Obergericht setzt sich der Beschwerdeführer nicht auseinander und er zeigt nicht auf, inwieweit sie verfassungswidrig sein sollen. Dazu genügt insbesondere nicht, dass er dem Obergericht erklärt haben will, nicht zu wissen, was Rechtsöffnung bedeute, und dass er die Verspätung bedauert und um Beachtung seiner Eingabe gebeten habe. Im Übrigen erhebt er verschiedene Einwände gegen die Rechtsöffnung und die Berechtigung der Beschwerdegegnerin. Auf all dies kann nicht eingetreten werden, da Gegenstand des bundesgerichtlichen Verfahrens einzig die Frage ist, ob das Obergericht auf die kantonale Beschwerde des Beschwerdeführers hätte eintreten müssen.
Die Verfassungsbeschwerde enthält damit offensichtlich keine hinreichende Begründung. Darauf ist im vereinfachten Verfahren gemäss Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten.
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Sein Gesuch um unentgeltliche Rechtspflege ist abzuweisen, da die Beschwerde von vornherein aussichtslos war (Art. 64 Abs. 1 BGG).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 200.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. Mai 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg