Erwägungen:
1.
1.1. Mit Verfügung vom 12. Januar 2021 befreite der Präsident der Anwaltskommission des Kantons Schwyz Rechtsanwalt B._ gegenüber A._ insoweit vom Anwaltsgeheimnis, als die Offenbarung von Berufsgeheimnissen zur gerichtlichen Abwehr der gegen ihn erhobenen Forderung erforderlich sei. Dagegen erhob A._ Beschwerde beim Verwaltungsgericht des Kantons Schwyz. Dieses setzte ihm mit Verfügung vom 21. Januar 2021 Frist bis 5. Februar 2021 zur Bezahlung eines Kostenvorschusses von Fr. 500.--. Nachdem der Vorschuss nicht bezahlt worden war, wurde ihm eine nicht erstreckbare Nachfrist bis 3. März 2021 angesetzt. Mit Faxschreiben vom 5. März 2021 teilte A._ dem Verwaltungsgericht mit, dass er den Kostenvorschuss nicht bezahlen könne, und ersuchte um Zusendung der Formulare für die unentgeltliche Rechtspflege. Mit Schreiben vom 5. März 2021 teilte das Verwaltungsgericht A._ mit, dass sein (Fax-) Schreiben nach Fristablauf erfolgt sei. Ihm werde eine Frist bis 25. März 2021 angesetzt, um zum vorgesehenen Nichteintreten auf die Beschwerde Stellung zu nehmen. In der Folge wurde der Kostenvorschuss am 24. März 2021 bezahlt. Das Verwaltungsgericht trat am 29. März 2021 auf die Beschwerde nicht ein.
1.2. Mit Beschwerde vom 20. April 2021 beantragt A._ dem Bundesgericht, der Entscheid des Verwaltungsgerichts sei aufzuheben. Das Bundesgericht hat keine Instruktionsmassnahmen verfügt.
2.
Anfechtungsobjekt ist ein Nichteintretensentscheid des Verwaltungsgerichts. Der Streitgegenstand vor Bundesgericht beschränkt sich deshalb auf die Frage, ob das vorinstanzliche Nichteintreten an einem Rechtsmangel leidet. Soweit in der Beschwerde materielle Ausführungen zur Entbindung vom Anwaltsgeheimnis gemacht werden, kann darauf von vornherein nicht eingetreten werden.
3.
3.1. Gemäss Art. 42 Abs. 1 und 2 BGG haben Rechtsschriften unter anderem die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt. Art. 95 ff. BGG nennen dabei die zulässigen Rügegründe. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
3.2. In der von einem Rechtsanwalt verfassten Beschwerde wird die Verletzung des Anspruchs auf ein faires Verfahren gerügt. Aus der Begründung geht indessen nicht einmal im Ansatz hervor, worin diese Verletzung liegen soll. Dem Beschwerdeführer wurde eine Frist bis 5. Februar 2021 zur Leistung des Kostenvorschusses angesetzt; diese Frist wurde letztmals bis 3. März 2021 verlängert. Der Beschwerdeführer bringt nicht vor, er habe innerhalb dieser Frist reagiert und den Kostenvorschuss bezahlt oder um unentgeltliche Rechtspflege ersucht. Sein Faxschreiben vom 5. März 2021 erfolgte erst nach Fristablauf. In der Folge hat das Verwaltungsgericht gemäss den für das Bundesgericht bindenden Sachverhaltsfeststellungen (Art. 105 Abs. 1 BGG) lediglich das rechtliche Gehör zum beabsichtigten Nichteintreten gewährt und die Zahlungsfrist nicht nochmals verlängert. Mit der nicht weiter belegten gegenteiligen Behauptung vermag der Beschwerdeführer diese Feststellung nicht infrage zu stellen. Die erst am 24. März 2021 erfolgte Zahlung wäre deshalb nur dann erheblich gewesen, wenn gleichzeitig um Fristwiederherstellung ersucht worden wäre, was gemäss den vorinstanzlichen Feststellungen nicht der Fall war. Unbeachtlich ist weiter, ob der Beschwerdeführer mittellos ist; es wäre ihm wie erwähnt freigestanden, rechtzeitig um unentgeltliche Rechtspflege zu ersuchen. Soweit auf die Behinderung des Beschwerdeführers verwiesen wird, ist nicht ersichtlich, inwieweit ihn diese davon abgehalten haben soll, rechtzeitig zu handeln oder im vorinstanzlichen Verfahren Fristwiederherstellungsgründe geltend zu machen, da er bereits vor Verwaltungsgericht anwaltlich vertreten war. Die Beschwerde enthält offensichtlich keine hinreichende Begründung; darauf ist im vereinfachten Verfahren durch den Einzelrichter nicht einzutreten (Art. 108 Abs. 1 lit. b BGG).
4.
Es rechtfertigt sich, von einer Kostenauflage abzusehen (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Verfahrensbeteiligten (dem Beschwerdeführer mittels amtlicher Publikation) und dem Verwaltungsgericht des Kantons Schwyz, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 26. April 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger