Erwägungen:
1.
1.1. Mit Entscheid vom 2. August / 28. September 2017 erteilte das Bezirksgericht Visp in der Betreibung Nr. xxx des Betreibungsamtes Visp der Beschwerdegegnerin gegenüber dem Beschwerdeführer definitive Rechtsöffnung für Fr. 2'014.95 nebst Zins.
Dagegen erhob der Beschwerdeführer am 16. Oktober 2017 Beschwerde an das Kantonsgericht Wallis. Mit Entscheid vom 6. November 2018 wies das Kantonsgericht die Beschwerde und das Gesuch des Beschwerdeführers um unentgeltliche Prozessführung ab.
1.2. Gegen diesen Entscheid hat der Beschwerdeführer am 10. Dezember 2018 Beschwerde an das Bundesgericht erhoben.
Mit Verfügung vom 12. März 2019 hat das Bundesgericht das Gesuch des Beschwerdeführers um Wiederherstellung der Frist für die Begründung des Gesuchs um unentgeltliche Rechtspflege abgewiesen. Zudem hat es die Gesuche um unentgeltliche Rechtspflege, um Verzicht auf die Erhebung von Gerichtskosten oder deren Reduktion, um Ratenzahlung sowie darum, diese Verfügung den weiteren Verfahrensbeteiligten nur im Dispositiv zu eröffnen, abgewiesen. Mit separater Verfügung vom 12. März 2019 hat es ihm eine Frist bis 5. April 2019 zur Bezahlung des Kostenvorschusses von Fr. 1'000.-- angesetzt.
Mit Verfügung vom 12. April 2019 ist das Bundesgericht auf das erneute Gesuch um unentgeltliche Rechtspflege vom 5. April 2019 nicht eingetreten. Zudem hat es das erneute Gesuch um Verzicht auf die Erhebung von Gerichtskosten oder deren Reduktion, das Gesuch um Ratenzahlung oder eine mindestens dreimonatige Verlängerung der Zahlungsfrist und das Gesuch, diese Verfügung den weiteren Verfahrensbeteiligten nur im Dispositiv zu eröffnen, abgewiesen. Mit separater Verfügung vom 16. April 2019 hat das Bundesgericht dem Beschwerdeführer eine nicht erstreckbare Nachfrist bis zum 10. Mai 2019 zur Zahlung des Kostenvorschusses angesetzt (unter Androhung des Nichteintretens auf die Beschwerde bei nicht rechtzeitiger Bezahlung; Art. 62 Abs. 3 BGG).
Mit Eingabe vom 10. Mai 2019 ersucht der Beschwerdeführer darum, ihm die Frist zur Vorschussleistung abzunehmen. Das Beschwerdeverfahren sei bis zu einem rechtskräftigen Entscheid über den Antrag des Beschwerdeführers an das Staatssekretariat für Wirtschaft SECO betreffend die Feststellung der Verwirkung des Rückerstattungsanspruchs der Beschwerdegegnerin zu sistieren. Eventuell sei auf die Einforderung eines Kostenvorschusses ganz oder teilweise zu verzichten.
Der Beschwerdeführer hat den verlangten Kostenvorschuss binnen Frist nicht geleistet.
2.
2.1. Der Beschwerdeführer begründet seine Gesuche um Sistierung und damit verbunden um Abnahme der Frist zur Zahlung des Kostenvorschusses damit, er ersuche das SECO um Feststellung der Nichtigkeit der im Raume stehenden Rückforderungsverfügung der Beschwerdegegnerin. Falls diese Nichtigkeit festgestellt werde, werde das vorliegende bundesgerichtliche Verfahren gegenstandslos.
Der Beschwerdeführer belegt nicht, dass er ein entsprechendes Gesuch beim SECO überhaupt gestellt hat. Ob das SECO ein entsprechendes Verfahren führt und welchen genauen Gegenstand dieses hat, bleibt demnach unklar. Im Übrigen führt der Beschwerdeführer selber aus, sein Gesuch an das SECO diene nicht der Nachprüfung des Rechtsöffnungsentscheids. Es besteht für das Bundesgericht in der Folge kein Anlass, das vorliegende Beschwerdeverfahren zu sistieren, um den ungewissen Ausgang eines allenfalls noch gar nicht laufenden Aufsichtsverfahrens abzuwarten. Genauso wenig besteht Anlass, dem Beschwerdeführer aufgrund des angeblichen Verfahrens vor dem SECO die Frist zur Vorschussleistung abzunehmen. Die Gesuche sind abzuweisen.
2.2. Mit einem Eventualantrag ersucht der Beschwerdeführer darum, auf die Erhebung eines Gerichtskostenvorschusses ganz oder teilweise zu verzichten. Soweit er zur Begründung erneut auf seine finanziellen Verhältnisse abstellt, kann zunächst auf die ergangenen Verfügungen vom 12. März 2019 (E. 2.4) und 12. April 2019 (E. 2.3) verwiesen werden, wonach keine besonderen Gründe vorliegen, die ausnahmsweise einen (vollständigen oder teilweisen) Verzicht auf die Erhebung eines Gerichtskostenvorschusses rechtfertigen (Art. 62 Abs. 1 BGG). Im Übrigen wurde in diesen Verfügungen im Rahmen der Behandlung seiner Gesuche um unentgeltliche Rechtspflege erläutert, weshalb seine Ausführungen zu seinen finanziellen Verhältnissen verspätet waren und weshalb er nicht mit einem neuen Gesuch um unentgeltliche Rechtspflege nachholen kann, was er zuvor rechtzeitig vorzutragen verpasst hat. Analoges gilt auch im Rahmen seines - nunmehr zum dritten Mal gestellten - Gesuchs, auf die Erhebung eines Gerichtskostenvorschusses ganz oder teilweise zu verzichten. Er kann auch im Rahmen eines solchen Gesuchs nicht nachholen, was er zuvor im Rahmen seiner Gesuche um unentgeltliche Rechtspflege vorzutragen verpasst hat. Insbesondere kann er sich nicht auf diejenigen Unterlagen berufen, die das Bundesgericht im Rahmen der Prüfung seiner Gesuche um unentgeltliche Rechtspflege als unbeachtlich beurteilt hat.
Der Beschwerdeführer sieht durch die Vorschusspflicht zudem die Rechtsgleichheit, die Waffengleichheit und die Rechtsweggarantie verletzt, da er als nicht anwaltlich Vertretener der Verwaltung gegenüberstehe, die zudem von der Vorschuss- und Gerichtskostenpflicht befreit sei (unter Hinweis auf Art. 66 Abs. 4 BGG).
Gemäss Art. 62 Abs. 1 BGG ist einzig diejenige Partei vorschusspflichtig, die das Bundesgericht anruft. Ob die beschwerdegegnerische Partei, wenn sie selber Beschwerde führen würde, auch vorschusspflichtig wäre, ist irrelevant. Desgleichen ist nicht von Belang, ob der beschwerdegegnerischen Partei im Falle ihres Unterliegens Gerichtskosten auferlegt werden könnten. Ob die Beschwerdegegnerin vorschusspflichtig wäre, wenn sie Beschwerde erhoben hätte, oder ob ihr die Gerichtskosten auferlegt werden könnten, ist demnach für die Vorschusspflicht des Beschwerdeführers nicht relevant und kann offenbleiben. In dieser Hinsicht stellt sich die Frage der Rechtsgleichheit nicht. Auch der Grundsatz der Waffengleichheit ist nicht betroffen, zumal der Beschwerdeführer nie um unentgeltliche Vertretung durch einen Rechtsanwalt ersucht hat. Die Rechtsweggarantie (Art. 29a BV) gibt schliesslich keinen Anspruch darauf, das Rechtsmittelverfahren trotz Fehlens der Voraussetzungen für die unentgeltliche Rechtspflege unentgeltlich durchzuführen. Die Erhebung eines Kostenvorschusses ist mit Art. 29a BV vereinbar (Urteil 2C_604/2014 vom 31. Oktober 2014 E. 3.1 mit Hinweisen).
Das Gesuch, auf die Erhebung eines Gerichtskostenvorschusses ganz oder teilweise zu verzichten, ist deshalb abzuweisen, soweit darauf einzutreten ist.
2.3. Der Beschwerdeführer hat die soeben behandelten Gesuche am letzten Tag der Nachfrist nach Art. 62 Abs. 3 BGG gestellt. Dies ist zwar grundsätzlich zulässig. Werden diese Gesuche jedoch abgelehnt, bedeutet dies nicht ohne weiteres, dass dem Beschwerdeführer eine weitere, letztmalige Frist zur Leistung des Kostenvorschusses angesetzt werden müsste. Vielmehr kann darauf verzichtet werden, wenn die entsprechenden Gesuche als trölerisch erscheinen oder der Beschwerdeführer nach Treu und Glauben nicht mit einer weiteren Erstreckung rechnen durfte (Urteil 5A_280/2018 vom 21. September 2018 E. 4.1 mit Hinweisen).
Die Verfahrensführung des Beschwerdeführers ist trölerisch. Daran ändert nichts, dass er den Vorwurf der Verfahrensverschleppung bestreitet. Mit den vorliegenden Gesuchen zielt er darauf ab, das bundesgerichtliche Verfahren hängig zu halten, ohne den Kostenvorschuss bezahlen zu müssen, obschon über die Frage seiner Kostenvorschusspflicht bereits mehrfach befunden worden ist. Zudem war die Nachfrist in der Verfügung vom 12. April 2019 ausdrücklich als einmalig und nicht erstreckbar bezeichnet worden. In der Verfügung vom 16. April 2019 ist sie nochmals als nicht erstreckbar gekennzeichnet. Der Beschwerdeführer konnte deshalb für den Fall, dass seine Gesuche um Fristabnahme etc. erfolglos bleiben würden, von vornherein nicht mit einer weiteren Erstreckung rechnen, und zwar auch nicht im Sinne einer kurzen Notfrist.
Demnach ist sogleich über die Zulässigkeit der Beschwerde zu befinden.
2.4. Der Beschwerdeführer hat den Kostenvorschuss binnen Frist nicht geleistet. Auf die Beschwerde ist mithin wie angedroht nicht einzutreten (Art. 62 Abs. 3 BGG).
3.
Der Beschwerdeführer unterliegt damit im Beschwerdeverfahren, weshalb ihm die Gerichtskosten aufzuerlegen sind (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Gesuche um Sistierung des Verfahrens 5A_1010/2018 und damit verbunden um Abnahme der Frist zur Vorschussleistung werden abgewiesen.
2.
Das Gesuch um vollständigen oder teilweisen Verzicht auf die Erhebung eines Kostenvorschusses wird abgewiesen, soweit darauf einzutreten ist.
3.
Auf die Beschwerde wird nicht eingetreten.
4.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
5.
Dieses Urteil wird den Parteien und dem Kantonsgericht Wallis, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. Mai 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Zingg