Erwägungen:
1.
Mit Entscheid vom 10. Februar 2021 erteilte das Bezirksgericht Visp dem Beschwerdegegner gegenüber dem Beschwerdeführer die definitive Rechtsöffnung für eine Busse wegen Nichteinreichens der Steuererklärung von Fr. 110.-- und Verwaltungsgebühren von Fr. 65.--.
Dagegen erhob der Beschwerdeführer am 22. Februar 2021 Beschwerde. Mit Entscheid vom 16. April 2021 trat das Kantonsgericht Wallis auf die Beschwerde mangels hinreichender Begründung nicht ein.
Gegen diesen Entscheid (sowie einen weiteren; dazu Verfahren 5D_94/2021) hat der Beschwerdeführer am 28. April 2021 Beschwerde an das Bundesgericht erhoben.
2.
Der angefochtene Entscheid ist ein Nichteintretensentscheid. Demnach müsste der Beschwerdeführer anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darlegen, inwiefern das Kantonsgericht durch sein Nichteintreten verfassungsmässige Rechte verletzt haben soll (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368). Darauf geht er jedoch nicht ein. Insbesondere genügt es nicht vorzubringen, der Staat könne nicht die Einhaltung der Regeln im Zusammenhang mit Bussen und der Besteuerung einfordern, wenn er zugleich die Regeln im Zusammenhang mit Scheidungsverfahren verletze. Das Scheidungsverfahren und das Besuchsrecht, dessen Wiederherstellung er verlangt, sind nicht Gegenstand des vorliegenden Verfahrens. Im Übrigen sind die Ausführungen des Beschwerdeführers überwiegend zahlenmystischer Natur. Eine genügende Verfassungsrüge liegt darin nicht.
Die Beschwerde enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. <ref-law>).
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 300.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht Wallis, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg