Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Die Vorinstanz hat in Nennung der anwendbaren Bestimmungen (Art. 68 Abs. 1, Art. 79 und Art. 80 Abs. 1 SchKG, <ref-law>, Art. 37 und <ref-law> in der bis Ende 2000 geltenden Fassung) und Grundsätze (<ref-ruling> Erw. 2, 119 V 329, je mit Hinweisen; vgl. auch <ref-ruling> und AHI 1997 S. 156 Erw. 5) dargelegt, unter welchen Voraussetzungen die Ausgleichskasse zur Erhebung von Mahngebühren, Verzugszins und Betreibungskosten berechtigt ist und wie sich diese bemessen. Sodann hat das kantonale Gericht in Auseinandersetzung mit den Parteivorbringen die im Streit liegende, sich aus solchen Beträgen zusammensetzende Forderung für rechtens erklärt und die Rechtsöffnungsverfügung vom 26. April 2001 bestätigt. Auf die Erwägungen der Vorinstanz ist zu verweisen.
Was in der Verwaltungsgerichtsbeschwerde dagegen vorgebracht wird, überzeugt nicht. Das Mahnen einer Beitragsforderung nach <ref-law> in der bis 31. Dezember 2000 in Kraft gewesenen Fassung wie auch deren Betreibung setzen keineswegs voraus, dass diese vom Schuldner (bereits) anerkannt ist. Stellt sich für den Rechnungsadressaten erst zu einem späteren Zeitpunkt die Berechtigung des gemahnten Betrages heraus, sind die im Rahmen von <ref-law> in der bis Ende 2000 anwendbaren Fassung erhobenen Mahngebühren wie auch aufgelaufene Verzugszinsen (<ref-law> in der bis 31. Dezember 2000 gültigen Fassung) sowie Betreibungskosten (<ref-law>) ebenfalls geschuldet. Eine rechtliche Verpflichtung, auf eine entsprechende Anfrage zum Rechnungsbetrag hin mit dessen Mahnung zuzuwarten, besteht nicht.
3.- Da die Verwaltungsgerichtsbeschwerde offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.
4.- Entsprechend dem Ausgang des Verfahrens sind dem Beschwerdeführer die Gerichtskosten aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Die obsiegende Kasse beantragt die Zusprechung einer Parteientschädigung, was ihr indessen gestützt auf Art. 159 Abs. 2 in Verbindung mit Art. 135 OG zu verwehren ist.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von Fr. 200.- werden dem Beschwer- deführer auferlegt. Sie sind durch den geleisteten Kostenvorschuss von Fr. 500.- gedeckt; der Differenzbetrag
von Fr. 300.- wird zurückerstattet.
III. Es werden keine Parteientschädigungen ausgerichtet.
IV.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 7. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: