Sachverhalt:
Mit Entscheid vom 13. April 2021 trat das Obergericht des Kantons Bern auf die von A._ gegen den definitiven Rechtsöffnungsentscheid des Regionalgerichts Emmental-Oberaargau vom 8. Februar 2021 eingereichte Beschwerde wegen offensichtlicher Unzulässigkeit nicht ein und auferlegte ihm die Verfahrenskosten von Fr. 300.--.
Mit Gesuch vom 29. April 2021 bat A._ sinngemäss um Erlass der Verfahrenskosten. Dieses Gesuch wies das Obergericht mit Entscheid vom 7. Mai 2021 ab.
Dagegen hat A._ am 12. Mai 2021 beim Bundesgericht eine Beschwerde eingereicht.

Erwägungen:
1.
Angesichts des weniger als Fr. 30'000.-- betragenden Streitwertes steht nicht die Beschwerde in Zivilsachen (<ref-law>), sondern nur die subsidiäre Verfassungsbeschwerde offen (<ref-law>), mit welcher einzig die Verletzung verfassungsmässiger Rechte gerügt werden kann (<ref-law>), wofür das strenge Rügeprinzip gilt (Art. 106 Abs. 2 i.V.m. <ref-law>).
2.
Das Obergericht hat das Gesuch abgewiesen mit der Erwägung, der Kostenerlass im Sinn von <ref-law> und Art. 10 Abs. 1 VKD/BE setze voraus, dass das seinerzeitige Verfahren nicht aussichtslos gewesen sei, ansonsten die Voraussetzungen der unentgeltlichen Rechtspflicht nachträglich auf dem Weg des Kostenerlasses umgangen werden könnten.
3.
Der Beschwerdeführer rügt keine verfassungsmässigen Rechte als verletzt und setzt sich nicht einmal in einer den allgemeinen Begründungsanforderungen von <ref-law> genügenden Weise mit den Erwägungen des angefochtenen Entscheides auseinander. Vielmehr bezieht er sich auf das Strafverfahren, welches in einem anderen Kanton stattfand, und wirft der Walliser Justiz Willkür vor.
4.
Nach dem Gesagten ist die Beschwerde offensichtlich nicht hinreichend begründet und somit ist auf sie im vereinfachten Verfahren nach <ref-law> nicht einzutreten.
5.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 17. Mai 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Möckli