Sachverhalt:
A.
Die Arbeitslosenkasse des Kantons Zürich verlangte am 6. November 2015 Rechtsöffnung in der Betreibung Nr. xxx des Betreibungsamts Dietikon (Zahlungsbefehl vom 23. Oktober 2015) gegen A._ über den Betrag von Fr. 11'789.05 und die Zahlungsbefehlskosten. Mit Urteil vom 9. Dezember 2015 wies das Bezirksgericht Dietikon das Rechtsöffnungsbegehren ab.
B.
Dagegen erhob die Arbeitslosenkasse am 18. Januar 2016 Beschwerde an das Obergericht des Kantons Zürich. Sie verlangte die Aufhebung des angefochtenen Urteils und die Erteilung der definitiven Rechtsöffnung für Fr. 11'789.05 zuzüglich Betreibungs- und Gerichtskosten. Mit Urteil vom 16. März 2016 hiess das Obergericht die Beschwerde gut. Es erteilte definitive Rechtsöffnung für Fr. 11'789.05, nicht aber für die Betreibungs- und Gerichtskosten.
C.
Am 11. April 2016 hat A._ (Beschwerdeführer) Beschwerde an das Bundesgericht erhoben. Er verlangt die Aufhebung des obergerichtlichen Urteils und sinngemäss die Abweisung des Rechtsöffnungsbegehrens. Zudem ersucht er um unentgeltliche Rechtspflege.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die Beschwerde richtet sich gegen den Endentscheid einer letzten kantonalen Instanz in einer Schuldbetreibungssache. Da der Streitwert für die Beschwerde in Zivilsachen nicht erreicht ist (<ref-law>) und keine Rechtsfrage von grundsätzlicher Bedeutung geltend gemacht wird (<ref-law>), ist die subsidiäre Verfassungsbeschwerde das zutreffende Rechtsmittel (<ref-law>). Sie ist rechtzeitig erhoben worden (Art. 117 i.V.m. Art. 100. Abs. 1 BGG).
Mit der Verfassungsbeschwerde kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Diesen Vorwurf prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine entsprechende Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 117 i.V.m. <ref-law>). Dies bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 1.2 S. 234; <ref-ruling> E. 3.2 S. 88).
2.
2.1. Vor Obergericht war umstritten, ob der als Rechtsöffnungstitel angerufene Entscheid (Einspracheentscheid der Beschwerdegegnerin vom 21. November 2012) dem Beschwerdeführer zugestellt worden war.
Das Obergericht hat folgenden Ablauf festgestellt: Die Beschwerdegegnerin habe den Beschwerdeführer mit Verfügung vom 17. Oktober 2012 zur Rückzahlung zu viel ausbezahlter Arbeitslosenentschädigung (für die Zeit von August 2009 bis und mit Mai 2010) im Umfang von Fr. 11'789.05 verpflichtet. Der Beschwerdeführer habe dagegen Einsprache erhoben. Die Beschwerdegegnerin habe diese Einsprache mit Einspracheentscheid vom 21. November 2012 abgewiesen. Dagegen habe der Beschwerdeführer kein Rechtsmittel ergriffen. Der Beschwerdeführer habe um Erlass der Rückforderung ersucht. Dieses Gesuch sei an die Arbeitslosenversicherung überwiesen worden, die es mit Verfügung vom 20. Juni 2013 abgewiesen habe. Am 11. September 2014 habe die Arbeitslosenversicherung schliesslich die Einsprache gegen die Verfügung vom 20. Juni 2013 abgewiesen.
Das Obergericht hat sodann erwogen, sowohl in der Verfügung der Arbeitslosenversicherung vom 20. Juni 2013 als auch in ihrem Einspracheentscheid vom 11. September 2014 sei Bezug genommen worden auf die Verfügung der Beschwerdegegnerin vom 17. Oktober 2012 und ihren Einspracheentscheid vom 21. November 2012. Die Feststellung der Rückerstattungspflicht sei denn auch Voraussetzung für die Prüfung eines Erlassgesuchs (mehrstufiges Verfahren). Der Einspracheentscheid vom 11. September 2014 sei dem Beschwerdeführer rechtswirksam zugestellt worden. Wenn der Beschwerdeführer beim Erhalt des Einspracheentscheides vom 11. September 2014 der Meinung gewesen wäre, die vorangehende Stufe sei noch nicht durchlaufen worden oder er sei über deren Ergebnis nicht informiert worden, so hätte er dies nach Treu und Glauben den zuständigen Behörden anzeigen müssen. Der Beschwerdeführer habe aber weder die Behörden informiert noch sich gegen den Einspracheentscheid vom 11. September 2014 gewehrt. Erst im Rechtsöffnungsverfahren habe er eingewendet, den Einspracheentscheid vom 21. November 2012 nicht erhalten zu haben. Sein Zuwarten verdiene keinen Rechtsschutz und es sei davon auszugehen, der Einspracheentscheid vom 21. November 2012 sei formrichtig eröffnet worden.
2.2. Der Beschwerdeführer hatte sodann die Einrede der Verjährung erhoben.
Das Obergericht hat erwogen, bei der betriebenen Forderung handle es sich um einen öffentlich-rechtlichen Anspruch auf Rückerstattung von zu viel ausbezahlten Arbeitslosentaggeldern (<ref-law> [SR 837.0] i.V.m. <ref-law> [SR 830.1]). Der Anspruch sei mit dem Einspracheentscheid vom 21. November 2012 rechtskräftig festgesetzt worden. Vorliegend werde nicht die Rückforderung an sich, sondern deren Vollstreckung geltend gemacht. Folglich seien nicht die Verwirkungsfristen gemäss <ref-law> anwendbar, sondern die fünfjährige Vollstreckungsfrist ab Rechtskraft des Rückforderungsentscheids. Die Vollstreckung der Rückerstattungsforderung sei somit noch nicht verwirkt.
2.3. In der Folge hat das Obergericht der Beschwerdegegnerin für den Betrag von Fr. 11'789.05 definitive Rechtsöffnung erteilt.
3.
Was der Beschwerdeführer dagegen vorbringt, genügt den strengen Begründungsanforderungen der subsidiären Verfassungsbeschwerde nicht.
Der Beschwerdeführer macht vor Bundesgericht geltend, er habe die Rückforderungsverfügung vom 21. November 2012 nur unvollständig erhalten, nämlich nur die erste Seite davon. Trotz mehrerer Telefonate und E-Mails sei sie nicht vervollständigt worden. Darin sieht er eine Rechtsverweigerung. Das Obergericht ist demgegenüber offenbar davon ausgegangen, er habe behauptet, die fragliche Verfügung überhaupt nicht erhalten zu haben. Das Obergericht hat sodann nicht festgestellt, dass der Beschwerdeführer versucht habe, die Verfügung vollständig zu erhalten. Es hat im Gegenteil festgehalten, er habe die Behörden nicht informiert, dass er die Verfügung nicht erhalten habe. Der Beschwerdeführer legt vor Bundesgericht nicht detailliert dar, inwiefern das Obergericht dabei den Sachverhalt in verfassungswidriger Weise festgestellt haben soll (oben E. 1). Was seine angeblichen Interventionen bei den Behörden betrifft, um die Verfügung vom 21. November 2012 vollständig zu erhalten, so hätte er vor Bundesgericht genau darlegen müssen, wann und wo er Entsprechendes im kantonalen Verfahren behauptet hat und welche Beweismittel das Obergericht übergangen haben soll. Da er dies nicht getan hat, kann auf seine Ausführungen nicht eingetreten werden.
Der Beschwerdeführer bringt sodann vor, er habe nie ein Erlassgesuch gestellt, sondern eine persönliche Beschwerde gegen eine Mitarbeiterin der Beschwerdegegnerin erhoben. Auch diese Behauptungen finden keine Grundlage im angefochtenen Urteil und eine genügende Rüge fehlt. Ohnehin legt der Beschwerdeführer nicht dar, was er mit seinem Einwand erreichen will: Er bestreitet nicht, dass sich der Entscheid vom 11. September 2014 auf die Verfügung vom 21. November 2012 bezieht. Wie es zum Entscheid vom 11. September 2014 gekommen ist, spielt keine Rolle für die Frage, ob der Beschwerdeführer diesen Entscheid hätte zum Anlass nehmen müssen, an die Behörden zu gelangen und die korrekte Zustellung der Verfügung von 21. November 2012 zu verlangen.
Der Beschwerdeführer wendet ausserdem ein, das Obergericht habe sich nicht damit auseinandergesetzt, dass der Rückforderungsanspruch nach einem Jahr verjähre. Die Beschwerdegegnerin habe den Rückforderungsanspruch zu spät geltend gemacht, nämlich erst 2012. Die Einjahresfrist sei aber bereits 2011 abgelaufen. Auch insoweit liege Rechtsverweigerung vor. Der Beschwerdeführer setzt sich aber nicht damit auseinander, dass das Obergericht diese Frage für irrelevant gehalten hat, da es im vorliegenden Stadium nicht mehr um die Verjährung des Rückforderungsanspruchs als solchen gehe, sondern um die Vollstreckung des rechtskräftig festgesetzten Rückforderungsanspruchs und dieser Anspruch auf Vollstreckung noch nicht verwirkt sei. Da sich der Beschwerdeführer mit den vorinstanzlichen Erwägungen nicht auseinandersetzt, kann auf seine Einwände nicht eingegangen werden.
Schliesslich macht der Beschwerdeführer geltend, das Obergericht habe gegen die ZPO verstossen, indem es nachträglich Unterlagen berücksichtigt habe. Die Verletzung der ZPO kann jedoch mit subsidiärer Verfassungsbeschwerde nicht gerügt werden und der Beschwerdeführer legt auch nicht dar, welche Unterlagen zu Unrecht berücksichtigt worden sein sollen.
Auf die Beschwerde kann nach dem Gesagten nicht eingetreten werden.
4.
Es rechtfertigt sich, auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege ist deshalb als gegenstandslos abzuschreiben.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird als gegenstandslos abgeschrieben.
3.
Es werden keine Gerichtskosten erhoben.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. Juni 2016
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg