Erwägungen:
1.
Vor dem Regionalgericht Viamala ist zwischen dem Kanton Graubünden und dem Beschwerdeführer ein Rechtsöffnungsverfahren über eine Forderung von Fr. 500.-- hängig (Proz. Nr. 335-2021-4). Am 8. Februar 2021 beantragte der Beschwerdeführer unentgeltliche Rechtspflege. Mit Entscheid vom 17. März 2021 wies das Regionalgericht das Gesuch ab. Zugleich belegte es den Beschwerdeführer mit Gerichtskosten von Fr. 300.-- und einer Ordnungsbusse von Fr. 200.--.
Dagegen erhob der Beschwerdeführer am 23. März 2021 (Poststempel) Beschwerde beim Kantonsgericht von Graubünden. Mit Entscheid vom 14. April 2021 trat das Kantonsgericht auf die Beschwerde nicht ein. Das Gesuch um unentgeltliche Rechtspflege für das Beschwerdeverfahren wies es ab.
Gegen diesen Entscheid (sowie zwei weitere; dazu Verfahren 5D_71/2021 und 5D_95/2021) hat der Beschwerdeführer am 5. Mai 2021 (Poststempel) Beschwerde in Zivilsachen bzw. subsidiäre Verfassungsbeschwerde an das Bundesgericht erhoben. Das Bundesgericht hat die Akten beigezogen.
2.
Der Streitwert liegt unter Fr. 30'000.-- (Art. 74 Abs. 1 lit. b BGG). Der Beschwerdeführer behauptet jedoch das Vorliegen von Rechtsfragen von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG). Eine Rechtsfrage von grundsätzlicher Bedeutung ist nur zurückhaltend anzunehmen. Sie liegt vor, wenn ein allgemeines und dringendes Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit eine erhebliche Rechtsunsicherheit auszuräumen (BGE 144 III 164 E. 1 S. 165; 141 III 159 E. 1.2 S. 161; 137 III 580 E. 1.1 S. 582 f.). Der Beschwerdeführer wirft die Frage auf, ob ihm prinzipiell in allen Verfahren die unentgeltliche Rechtspflege zu gewähren sei, da er in der JVA zuwenig verdiene und draussen alles verloren habe. Diese Frage stellt sich überhaupt nicht (und der entsprechende Antrag ist unzulässig), da der Anspruch auf unentgeltliche Rechtspflege in jedem Verfahren separat geprüft werden muss. Was den Einzelfall angeht, so kann der Anspruch auf unentgeltliche Rechtspflege genauso gut im Rahmen einer subsidiären Verfassungsbeschwerde beurteilt werden (vgl. Art. 29 Abs. 3 BV). Auch die übrigen vom Beschwerdeführer aufgeworfenen Fragen (z.B. ob ein Entscheid gültig sei, in dem sein Name falsch geschrieben sei) sind nicht grundsätzlicher Natur. Die Beschwerde in Zivilsachen ist damit unzulässig und die Eingabe ist als subsidiäre Verfassungsbeschwerde zu behandeln (Art. 113 ff. BGG). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368).
3.
3.1. Der Beschwerdeführer kritisiert das Verhalten der Finanzverwaltung Graubünden. Dies ist nicht Gegenstand des vorliegenden Verfahrens. Für die Entgegennahme einer allfälligen Strafanzeige ist das Bundesgericht nicht zuständig.
3.2. Der Beschwerdeführer wirft dem Regionalgericht vor, seinen zweiten Vornamen falsch geschrieben zu haben (B._ statt C._). Das Kantonsgericht hat auf die entsprechende Rüge hin erwogen, es handle sich um einen offensichtlichen Schreibfehler, der keinen Einfluss auf den Ausgang des angefochtenen Entscheids gehabt habe. Damit setzt sich der Beschwerdeführer nicht auseinander und er zeigt nicht auf, inwiefern das Kantonsgericht gegen verfassungsmässige Rechte verstossen haben soll. Soweit der Beschwerdeführer vor Bundesgericht geltend macht, wenn der Name falsch sei, sei auch eine andere Person gemeint, legt er nicht dar, inwiefern tatsächlich eine Verwechslungsgefahr bestehen soll.
Soweit er dem Regional- und dem Kantonsgericht auch noch andere Schreibfehler und mangelnde Qualität vorwirft, kann auf die entsprechenden Erwägungen in den Urteilen 5A_71/2021 und 5A_95/2021 verwiesen werden (jeweils E. 3.2).
3.3. Inhaltlich hat das Kantonsgericht erwogen, der Beschwerdeführer beschränke sich darauf, den Bündner Behörden gesetzwidriges und unprofessionelles Verhalten vorzuwerfen. Inwiefern das Regionalgericht beim angefochtenen Entscheid konkret Rechtsfehler begangen oder den Sachverhalt offensichtlich falsch dargestellt haben soll, lasse sich der Beschwerde nicht entnehmen. Die Beschwerde sei damit ungenügend begründet und auf die Rügen sei nicht einzutreten.
Vor Bundesgericht setzt sich der Beschwerdeführer nicht mit diesen Erwägungen auseinander und er zeigt nicht auf, inwiefern das Kantonsgericht diesbezüglich gegen verfassungsmässige Rechte verstossen haben soll. Soweit er dem Kantonsgericht vorwirft, sich nicht zur vom Regionalgericht verhängten Ordnungsbusse geäussert zu haben, übergeht er, dass sich die Nichteintretenserwägung des Kantonsgerichts auf die kantonale Beschwerde insgesamt bezieht (mit Ausnahme der Frage des falsch geschriebenen Vornamens, der Zuständigkeit des Regionalgerichts und einigen ausserhalb des Verfahrensthemas stehenden Punkten, die vor Bundesgericht nicht mehr strittig sind) und damit auch die Anfechtung der Ordnungsbusse betrifft.
3.4. Der Beschwerdeführer hält das Kantonsgericht und das Regionalgericht für befangen. Damit ist er vor Bundesgericht grundsätzlich verspätet. Ausstandsgesuche sind grundsätzlich umgehend (und zwar gegenüber der abgelehnten Gerichtsperson) geltend zu machen. Dies scheint dem Beschwerdeführer bewusst zu sein, hat er doch in den Parallelverfahren bereits im kantonsgerichtlichen Verfahren je ein - wenn auch untaugliches - Ausstandsgesuch gestellt (vgl. E. 3.3 in den Urteilen 5A_71/2021 und 5A_95/2021). Inwieweit der als Einzelrichter amtende Kantonsrichter Bergamin vorliegend befangen gewesen sein könnte, legt der Beschwerdeführer nicht dar. Der Hinweis auf angebliche Fehler genügt dazu nicht.
3.5. Der Beschwerdeführer verlangt zu prüfen, ob ein Gefängnisinsasse in einer Justizvollzugsanstalt betrieben werden kann. Soweit er damit auf die Frage nach der Zuständigkeit des Regionalgerichts Viamala anspielen sollte, übergeht er, dass er vor Kantonsgericht diesbezüglich zwar einen Antrag gestellt, diesen aber nicht begründet hat, weshalb das Kantonsgericht darauf nicht eingetreten ist.
Soweit der Beschwerdeführer verlangt zu prüfen, ob die Resozialisierung der Betreibung nicht entgegenstehe, ist darauf hinzuweisen, dass Fragen zur Zulässigkeit der Betreibung grundsätzlich nicht Gegenstand des Rechtsöffnungsverfahrens sind. Hiefür wäre Beschwerde nach Art. 17 ff. SchKG zu erheben.
3.6. Was die unentgeltliche Rechtspflege im Beschwerdeverfahren angeht, setzt sich der Beschwerdeführer nicht damit auseinander, dass seine Beschwerde nach der kantonsgerichtlichen Beurteilung aussichtslos war.
4.
Die Beschwerde ist damit offensichtlich unzulässig und sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. a und b BGG).
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Wie die vorstehenden Erwägungen zeigen, war die Beschwerde von vornherein aussichtslos. Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ist abzuweisen (Art. 64 Abs. 1 BGG). Eine Entschädigung an den Beschwerdeführer fällt ausser Betracht (Art. 68 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen
3.
Die Gerichtskosten von Fr. 250.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, Schuldbetreibungs- und Konkurskammer, schriftlich mitgeteilt.
Lausanne, 7. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg