Erwägungen:
1.
Beim Regionalgericht Plessur ist ein vom Kanton Graubünden gegen den Beschwerdeführer angehobenes Rechtsöffnungsverfahren hängig. Am 3. Februar 2020 erliess der Präsident des Regionalgerichts, B._ (Beschwerdegegner), eine prozessleitende Verfügung. Am 14. Februar 2020 stellte der Beschwerdeführer ein Ausstandsgesuch gegen den Beschwerdegegner. Im Ausstandsverfahren verlangte das Regionalgericht vom Beschwerdeführer mit Verfügung vom 4. März 2020 einen Kostenvorschuss von Fr. 2'000.--.
Gegen diese Verfügung erhob der Beschwerdeführer am 19. März 2020 Beschwerde beim Kantonsgericht von Graubünden. Mit Entscheid vom 15. Mai 2020 trat das Kantonsgericht auf die Beschwerde nicht ein, nachdem der Beschwerdeführer den Kostenvorschuss von Fr. 400.-- nicht geleistet hatte.
Gegen diesen Entscheid hat der Beschwerdeführer am 17. Juni 2020 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (Art. 74 Abs. 1 lit. b i.V.m. Art. 51 Abs. 1 lit. c BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist die Beschwerde in Zivilsachen unzulässig. Die Eingabe ist als subsidiäre Verfassungsbeschwerde entgegenzunehmen (Art. 113 ff. BGG). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368).
3.
Gegenstand des bundesgerichtlichen Verfahrens ist einzig der kantonsgerichtliche Nichteintretensentscheid. Nicht Gegenstand des Verfahrens ist der Ausstand des Beschwerdegegners oder der vom Regionalgericht für das Ausstandsverfahren verlangte Kostenvorschuss. Soweit sich der Beschwerdeführer zu diesen Punkten äussert, ist darauf nicht einzutreten. Im Zusammenhang mit dem vom Kantonsgericht verlangten Kostenvorschuss spricht der Beschwerdeführer zwar von Willkür, doch begründet er dies nicht näher. Dazu genügt es nicht, von "horrenden Beträgen", die "in kürzester Frist" zu leisten gewesen wären, zu sprechen. Sodann macht der Beschwerdeführer geltend, Kostenvorschüsse in Gerichtssachen verstiessen gegen Art. 8 BV, doch erläutert er dies mit keinem Wort.
Die Beschwerde ist damit offensichtlich mangelhaft begründet. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
4.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, Schuldbetreibungs- und Konkurskammer, schriftlich mitgeteilt.
Lausanne, 19. Juni 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg