Sachverhalt:
A.
A.a. Der Staat Wallis beantragte mit vier Rechtsöffnungsgesuchen vom 20. August 2018 beim Bezirksgericht Visp in den gegen A._ eingeleiteten Betreibungen Nr. xxx (Fr. 2'966.50, jeweils zuzüglich Zinsen und Gebühren), Nr. yyy (Fr. 2'839.--), Nr. zzz (Fr. 471.30) und Nr. www (Fr. 466.05) die Erteilung der definitiven Rechtsöffnung.
A.b. Das Bezirksgericht vereinigte die Verfahren und gab den Rechtsöffnungsgesuchen in den genannten Betreibungen mit Entscheid vom 17. Dezember 2018 statt.
B.
Dagegen erhob A._ am 4. Februar 2019 auf elektronischem Wege Beschwerde an das Kantonsgericht Wallis, unter anderem mit dem Antrag, ihm sei für das kantonsgerichtliche Verfahren die unentgeltliche Rechtspflege zu gewähren. Das Kantonsgericht wies das Gesuch um unentgeltliche Rechtspflege mit unangefochten gebliebenem Entscheid vom 22. März 2019 ab und verpflichtete A._ zur Leistung eines Kostenvorschusses von Fr. 450.--. Am 24. Mai 2019 setzte das Kantonsgericht A._ eine kurze Nachfrist von fünf Tagen zur Leistung des Kostenvorschusses, unter der Androhung, bei unbenütztem Ablauf der Frist nicht auf die Beschwerde einzutreten. A._ reichte am 3. Juni 2019 ein neues, vom Kantonsgericht als Wiedererwägungsgesuch behandeltes, Gesuch um unentgeltliche Rechtspflege ein. Mit Entscheid vom 6. Juni 2019 trat das Kantonsgericht auf das Gesuch um Wiedererwägung des Entscheids vom 22. März 2019 betreffend die unentgeltliche Rechtspflege (Dispositiv-Ziffer 1) und auf die Beschwerde (Dispositiv-Ziffer 2) nicht ein, auferlegte A._ die Kosten des Beschwerdeverfahrens von Fr. 450.-- (Dispositiv-Ziffer 3) und verpflichtete ihn dazu, dem Staat Wallis für das Beschwerdeverfahren notwendige Auslagen von Fr. 10.-- zu ersetzen (Dispositiv-Ziffer 4).
C.
Am 16. August 2019 hat A._ elektronisch Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben. Der Beschwerdeführer verlangt die Aufhebung des angefochtenen kantonsgerichtlichen Entscheids in Bezug auf Ziff. 3 (Gerichtskosten) und Ziff. 4 (Auslagenersatz). Es seien ihm für das vorinstanzliche Verfahren keine Gerichtskosten aufzuerlegen; eventuell seien diese auf Fr. 75.-- herabzusetzen. Subeventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zudem ersucht er für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege.
Mit Verfügung vom 20. August 2019 ist das Gesuch des Beschwerdeführers um Gewährung der aufschiebenden Wirkung abgewiesen worden.
Das Bundesgericht hat die kantonalen Akten beigezogen, hingegen keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Der Kosten- und Entschädigungspunkt des vorinstanzlichen Entscheids kann mit dem für die Hauptsache zulässigen Rechtsmittel angefochten werden, wobei sich der Streitwert nach den Begehren bestimmt, die vor der Vorinstanz streitig geblieben sind (<ref-ruling> E. 1.2.2 S. 48). In der Hauptsache geht es um eine Schuldbetreibungssache (<ref-law>). Da der Streitwert den gesetzlichen Mindestbetrag von Fr. 30'000.-- nicht erreicht und der Beschwerdeführer zwar eine Rechtsfrage von grundsätzlicher Bedeutung behauptet, indes dazu keine Begründung vorlegt (<ref-law>; <ref-ruling> E. 2.6 S. 493 f.), kann auf die Beschwerde in Zivilsachen nicht eingetreten werden.
1.2. Hingegen ist die Eingabe, wie eventuell beantragt, als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>). In einer subsidiären Verfassungsbeschwerde kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip präzise vorgebracht und begründet werden (Art. 117 i.V.m. <ref-law>).
Vorliegend beruft sich der Beschwerdeführer auf eine Verletzung des Willkürverbots von <ref-law>. Nach ständiger Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 7.1 S. 124 mit Hinweis). Dabei greift das Bundesgericht in Ermessensentscheide, zu denen namentlich Entscheide über die Höhe der Gerichtsgebühr gehören, nur mit grösster Zurückhaltung ein (<ref-ruling> E. 3.2.5 S. 339).
2.
Der Beschwerdeführer hält zunächst dafür, die Vorinstanz habe es in Verletzung von <ref-law> willkürlich unterlassen, ihn über die mutmassliche Höhe der Gerichtskosten aufzuklären, weshalb diese Kosten gemäss <ref-law> willkürfrei nur dem Kanton auferlegt werden könnten. Derlei pauschale Kritik genügt den Anforderungen an die Begründung einer Willkürrüge indes nicht, zumal dem Beschwerdeführer nach der Abweisung seines Gesuchs um unentgeltliche Prozessführung durch die Vorinstanz zunächst eine Frist und anschliessend eine Nachfrist zur Leistung des Kostenvorschusses in der Höhe von Fr. 450.-- angesetzt worden ist. Darauf ist nicht einzutreten.
3.
Sodann wendet sich der Beschwerdeführer gegen die Höhe der ihm von der Vorinstanz auferlegten Gerichtsgebühr. Der Beschwerdeführer ist der Auffassung, es hätten ihm wegen bloss geringen Aufwands für das vorinstanzliche Beschwerdeverfahren willkürfrei Kosten von höchstens Fr. 75.-- auferlegt werden dürfen.
3.1. Die Höhe der Gebühr bestimmt sich nach den vom Kantonsgericht angewandten Art. 48 und Art. 61 Abs. 1 der Gebührenverordnung vom 23. September 1996 zum Bundesgesetz über Schuldbetreibung und Konkurs (GebV SchKG; SR 281.35). <ref-law> sieht bei einem Streitwert von Fr. 1'000.-- bis Fr. 10'000.-- für das erstinstanzliche Rechtsöffnungsverfahren eine Spruchgebühr von Fr. 50.-- bis Fr. 300.-- vor. Gemäss <ref-law> kann das obere Gericht, an das eine betreibungsrechtliche Summarsache (<ref-law>) weitergezogen wird, für seinen Entscheid eine Gebühr erheben, die höchstens das Anderthalbfache der für die Vorinstanz zulässigen Gebühr beträgt. Dass das Kantonsgericht mit der im angefochtenen Entscheid festgesetzten Gerichtsgebühr von Fr. 450.-- den Rahmen von Art. 48 i.V.m. <ref-law> nicht verlassen hat, ist vorliegend zu Recht unbestritten. Der Beschwerdeführer führt jedoch unter Hinweis auf die Erwägung 3.2.5 von <ref-ruling> aus, das Kantonsgericht sei in Willkür verfallen, weil es für einen Nichteintretensentscheid zufolge Nichtleistung des Kostenvorschusses eine Gerichtsgebühr am obersten Ende des Tarifs verlangt habe. Die Vorinstanz übersehe willkürlich, dass sie sich in ihrem Rechtsmittelentscheid praktisch ausschliesslich mit den Gesuchen um unentgeltliche Rechtspflege befasst habe, welche von Gesetzes wegen grundsätzlich kostenlos zu behandeln seien.
3.2. Dem ist zu entgegnen, dass der vorliegende Fall mit dem vom Beschwerdeführer herangezogenen, in welchem eine gestützt auf den Zürcher Tarif festgesetzte Gerichtsgebühr von Fr. 12'000.-- zu beurteilen war, bereits aufgrund der Höhe der zur Debatte stehenden Gerichtsgebühr nicht ohne Weiteres vergleichbar ist. Ausserdem kann dem Beschwerdeführer nicht beigepflichtet werden, wenn er geltend macht, die Vorinstanz habe vorliegend den denkbar geringsten Zeitaufwand gehabt, könnte davon doch nur dann gesprochen werden, wenn die rechtsuchende Partei einen Kostenvorschuss auch innert der in <ref-law> gesetzlich vorgesehenen Nachfrist nicht bezahlt, ohne dass es zwischenzeitlich zu weiteren Verfahrensschritten gekommen wäre. Vorliegend hat der Beschwerdeführer am 4. Februar 2019 in seiner (ohne Berücksichtigung der nachfolgenden "Eingabe im Laufe des Verfahrens") 48-seitigen Beschwerdeschrift auch diverse Verfahrensanträge gestellt. Mit Verfügung vom 5. Februar 2019 hat die Vorinstanz daraufhin das Bezirksgericht um Zustellung der Akten gebeten sowie den Gläubiger eingeladen, innert einer Frist von 10 Tagen zur Beschwerde, zum Gesuch um aufschiebende Wirkung sowie zum Sistierungsgesuch Stellung zu beziehen. Die Stellungnahme des Gläubigers ging am 14. Februar 2019 ein und wurde dem Beschwerdeführer übermittelt, worauf dieser um Ansetzung einer Frist zur Replik ersuchte und anschliessend eine solche einreichte. Schliesslich hat sich die Vorinstanz im angefochtenen Entscheid mit der (von ihr verneinten) Frage befasst, ob dem Beschwerdeführer nach dem Nichteintreten auf sein Gesuch um Wiedererwägung des Entscheids betreffend die unentgeltliche Rechtspflege eine zusätzliche Frist zur Leistung des Gerichtskostenvorschusses einzuräumen ist. Entgegen der Auffassung des Beschwerdeführers kann die erhobene Gerichtsgebühr von Fr. 450.-- unter den gegebenen Umständen nicht als offensichtlich unhaltbar oder geradezu stossend bezeichnet werden.
4.
Nicht willkürlich ist schliesslich auch, dass die Vorinstanz dem Beschwerdegegner 1 auch ohne Bezifferung des Entschädigungsantrags für seine Stellungnahme gestützt auf <ref-law> einen Auslagenersatz in der Höhe von Fr. 10.-- zugesprochen hat (vgl. <ref-ruling> E. 3.2.2 S. 448).
5.
Aus den dargelegten Gründen ist der Beschwerde kein Erfolg beschieden. Der Beschwerdeführer hat für die Gerichtskosten aufzukommen (<ref-law>). Wie die vorstehenden Erwägungen aufzeigen, muss die Beschwerde als von Anfang an aussichtslos betrachtet werden. Damit mangelt es an einer materiellen Voraussetzung für die unentgeltliche Rechtspflege (<ref-law>). Das entsprechende Gesuch ist abzuweisen. Dem Beschwerdegegner 1 ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2.
Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
4.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
5.
Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 12. November 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Buss