Sachverhalt:
In der vom kantonalen Amt für Finanzen für Steuerforderungen eingereichten Betreibung Nr. xxx des Betreibungsamtes Altendorf-Lachen erhob der Schuldner A._ gegen den Kollokationsplan und die Verteilliste beim Bezirksgericht March als untere Aufsichtsbehörde in Schuldbetreibung und Konkurs eine Beschwerde, welche am 10. März 2021 mit der Begründung abgewiesen wurde, in diesem Verfahrensstadium könne die betriebene Forderung nicht mehr bestritten werden. Auf die hiergegen erhobene Beschwerde trat das Kantonsgericht Schwyz als obere Aufsichtsbehörde in Schuldbetreibung und Konkurs mit Entscheid vom 28. April 2021 mangels hinreichender Begründung nicht ein. Gegen diesen Entscheid hat A._ am 10. Mai 2021 beim Bundesgericht eine Beschwerde erhoben.
Erwägungen:
1.
Die Vorinstanz ist auf das Rechtsmittel des Beschwerdeführers nicht eingetreten. Streitgegenstand ist deshalb grundsätzlich nur die Frage, ob die Vorinstanz zu Recht einen Nichteintretensentscheid gefällt hat (BGE 135 II 38 E. 1.2 S. 41; 139 II 233 E. 3.2 S. 235).
Diesbezüglich hat die Beschwerde eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG), was eine sachbezogene Auseinandersetzung mit dessen Erwägungen erfordert (BGE 140 III 115 E. 2 S. 116; 142 III 364 E. 2.4 S. 368).
2.
Eine dahingehende Begründung findet sich in der Beschwerde nicht. Der Beschwerdeführer äussert sich direkt in der Sache, indem er dem Steueramt bzw. dem Kanton Schwyz vorwirft, als einziger Kanton belege er betrügerische und fiktiv ausgewiesene Gewinne mit der Einkommenssteuer und handle damit extrem verwerflich und illegal. Daraus ergibt sich ebenso wenig eine Auseinandersetzung mit den Nichteintretenserwägungen wie aus seiner Forderung, aufgrund von Art. 20a Abs. 2 SchKG hätten die kantonalen Aufsichtsbehörden die ganze Betrugsgeschichte umfassend abklären müssen.
3.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet, weshalb auf sie nicht eingetreten werden kann und der Präsident im vereinfachten Verfahren entscheidet (Art. 108 Abs. 1 lit. b BGG).
4.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Betreibungsamt Altendorf-Lachen und dem Kantonsgericht Schwyz als obere kantonale Aufsichtsbehörde in Schuldbetreibung und Konkurs schriftlich mitgeteilt.
Lausanne, 12. Mai 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli