Sachverhalt:
Mit Entscheid vom 22. Januar 2021 erteilte das Zivilgericht Basel-Stadt dem Kanton in der gegen A._ eingeleiteten Betreibung definitive Rechtsöffnung. Nachdem dieser Beschwerde erhoben und auch innert der gesetzten Nachfrist den Kostenvorschuss nicht bezahlt hatte, trat das Appellationsgericht des Kantons Basel-Stadt mit Entscheid vom 5. Mai 2021 androhungsgemäss auf die Beschwerde nicht ein. Dagegen hat A._ am 26. Mai 2021 beim Bundesgericht eine Beschwerde erhoben.

Erwägungen:
1.
Der Streitwert beträgt weniger als Fr. 30'000.--, weshalb die Beschwerde in Zivilsachen nicht gegeben ist (<ref-law>), sondern nur die subsidiäre Verfassungsbeschwerde zur Verfügung steht (<ref-law>). Mit dieser kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>), wofür das strenge Rügeprinzip gilt (Art. 106 Abs. 2 i.V.m. <ref-law>).
2.
Der Beschwerdeführer erhebt keine Verfassungsrügen, auch nicht dem Sinn nach, sondern er beschränkt sich auf die Aussage, er sei am 3. Juli 2012 erwiesenermassen kastriert, geschändet und hinterzogen worden, weshalb er in diesem judaischen Nazistaat keine Pflichten schuldig sei.
3.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet, weshalb auf sie im vereinfachten Verfahren nach <ref-law> nicht einzutreten ist.
4.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 1. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Möckli