Sachverhalt:
Gegen den Entscheid des Zivilgerichts Basel-Stadt vom 5. Februar 2021, mit welchem dem Kanton für Steuerforderungen in der gegen A._ eingeleiteten Betreibung definitive Rechtsöffnung erteilt worden war, erhob dieser am 7. März 2021 Beschwerde. Nachdem der für das Beschwerdeverfahren einverlangte Kostenvorschuss von Fr. 300.-- innert der unter Androhung der Säumnisfolgen gesetzten Nachfrist nicht eingegangen war, trat das Appellationsgericht Basel-Stadt mit Entscheid vom 29. April 2021 auf die Beschwerde nicht ein. Dagegen hat A._ am 12. Mai 2021 beim Bundesgericht eine Beschwerde eingereicht.
Erwägungen:
1.
Angesichts des weniger als Fr. 30'000.-- betragenden Streitwertes steht nicht die Beschwerde in Zivilsachen (Art. 74 Abs. 1 lit. b BGG), sondern nur die subsidiäre Verfassungsbeschwerde offen (Art. 113 BGG), mit welcher einzig die Verletzung verfassungsmässiger Rechte gerügt werden kann (Art. 116 BGG), wofür das strenge Rügeprinzip gilt (Art. 106 Abs. 2 i.V.m. Art. 117 Abs. 1 BGG).
2.
Der Beschwerdeführer rügt keine verfassungsmässigen Rechte als verletzt. Er beschränkt sich auf die direkt auf dem angefochtenen Entscheid angebrachte Aussage, eine Beschwerde koste doch nichts und er sei mit dem Nichteintretensentscheid nicht einverstanden. Dies würde nicht einmal den allgemeinen Begründungsanforderungen von Art. 42 Abs. 2 BGG genügen, wonach darzutun wäre, inwiefern das Appellationsgericht mit seinem Entscheid Recht verletzt haben soll.
3.
Auf offensichtlich nicht hinreichend begründete Beschwerden ist im vereinfachten Verfahren nach Art. 108 Abs. 1 lit. b BGG nicht einzutreten.
4.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 17. Mai 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Möckli