Erwägungen:
1.
Mit Entscheid vom 10. Februar 2021 erteilte das Bezirksgericht Visp dem Beschwerdegegner gegenüber dem Beschwerdeführer die definitive Rechtsöffnung für Gerichtsgebühren von Fr. 600.-- zuzüglich Zins.
Dagegen erhob der Beschwerdeführer am 22. Februar 2021 Beschwerde. Mit Entscheid vom 16. April 2021 trat das Kantonsgericht Wallis auf die Beschwerde mangels hinreichender Begründung nicht ein.
Gegen diesen Entscheid (sowie einen weiteren; dazu Verfahren 5D_93/2021) hat der Beschwerdeführer am 28. April 2021 Beschwerde an das Bundesgericht erhoben.
2.
Der angefochtene Entscheid ist ein Nichteintretensentscheid. Demnach müsste der Beschwerdeführer anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darlegen, inwiefern das Kantonsgericht durch sein Nichteintreten verfassungsmässige Rechte verletzt haben soll (Art. 117 i.V.m. Art. 106 Abs. 2 BGG; BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368). Darauf geht er jedoch nicht ein. Er äussert sich zum Scheidungsverfahren und verlangt die Wiederherstellung des Besuchsrechts. Dies ist jedoch nicht Gegenstand des vorliegenden Rechtsöffnungsverfahrens und zwar auch dann nicht, wenn es vorliegend um die Vollstreckung der Gerichtsgebühren gehen sollte, die dem Beschwerdeführer in entsprechenden Verfahren auferlegt worden sind. Im Übrigen sind die Ausführungen des Beschwerdeführers überwiegend zahlenmystischer Natur. Eine genügende Verfassungsrüge liegt darin nicht.
Die Beschwerde enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 300.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Wallis, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg