Aus den Erwägungen:
2.- Nach Ansicht des Beschwerdeführers verstösst die Auflage der Verfahrenskosten durch die beiden kantonalen Instanzen gegen Art. 20a (Abs. 1) SchKG.
a) Art. 20a Abs. 1 erster Satz SchKG sieht den Grundsatz der Kostenlosigkeit des Beschwerdeverfahrens vor. Bei böswilliger oder mutwilliger Beschwerdeführung können einer Partei (oder ihrem Vertreter) Bussen bis zu 1'500 Franken sowie Gebühren und Auslagen auferlegt werden (Art. 20a Abs. 1 zweiter Satz SchKG). Böswilliges oder mutwilliges Verhalten hat sich ein Beschwerdeführer dann vorhalten zu lassen, wenn er - in Missachtung der auch im Verfahrensrecht geltenden Pflicht des Handelns nach Treu und Glauben - ohne konkretes Rechtsschutzinteresse und trotz eindeutiger Sach- und Rechtslage vor allem deshalb Beschwerde führt, um das Betreibungsverfahren zu verzögern (dazu <ref-ruling> E. 4a S. 109 f.; FlavioCometta, Kommentar zum SchKG, Basel 1998, N. 11 zu Art. 20a; Franco Lorandi, Betreibungsrechtliche Beschwerde und Nichtigkeit, Basel 2000, N. 18 f. zu Art. 20a SchKG; Pierre-RobertGilliéron, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, N. 19 zu Art. 20a).
Nicht unter die genannte Bestimmung fällt eine Verletzung des durch die guten Sitten gebotenen Anstands, wie sie beispielsweise in Art. 31 Abs. 1 OG (getrennt von dem in Art. 31 Abs. 2 OG geregelten Tatbestand der bös- oder mutwilligen Prozessführung) erwähnt ist: Der Gebührentarif zum SchKG vom 7. Juli 1971 (GebT SchKG) sah bis zur Änderung auf den 1. August 1983 vor, dass die kantonalen Aufsichtsbehörden im Beschwerdeverfahren ausser bei böswilligem oder mutwilligem Handeln auch bei Verletzung des Anstandes einer Partei (oder ihrem Vertreter) eine Busse (bis zu 300 Franken) sowie die Schreibgebühren und Auslagen auferlegen konnten (Art. 67 Abs. 3 GebT SchKG; AS 1971 S. 1096). Mit der erwähnten Revision wurde Art. 67 Abs. 3 GebT SchKG aufgehoben und Abs. 2 der Satz beigefügt, die Aufsichtsbehörden könnten einer Partei bei böswilliger oder mutwilliger Beschwerdeführung die Verfahrenskosten auferlegen (AS 1983 S. 792). Anlässlich einer weiteren Änderung, die am 1. Juli 1987 in Kraft trat, wurde Art. 67 GebT SchKG wieder neu gefasst: In Abs. 2 lit. a und c wurde der Grundsatz der Unentgeltlichkeit des Beschwerdeverfahrens bestätigt, und die Möglichkeit der Auferlegung der Verfahrenskosten bei böswilliger oder mutwilliger Beschwerdeführung wurde in einem neuen Abs. 3 festgehalten (AS 1987 S. 757). Im Entwurf zur Änderung des Schuldbetreibungs- und Konkursgesetzes (BBl 1991 III 203 ff.) fand sich in Art. 20a Abs. 1 Ziff. 4 die Bestimmung, das Beschwerdeverfahren vor den kantonalen Aufsichtsbehörden sei kostenlos, bei böswilliger oder mutwilliger Beschwerdeführung oder bei Verletzung des Anstandes könnten einer Partei oder ihrem Vertreter jedoch eine Busse bis zu 1'000 Franken sowie Gebühren und Auslagen auferlegt werden. Im Verlaufe der Gesetzgebungsarbeiten wurde die "Verletzung des Anstandes" fallen gelassen und der von der genannten Sanktion erfasste Tatbestand einzig mit "mutwilliger Beschwerdeführung" umschrieben (AB 1993 N 15 und S 641). Im Sinne einer Abstimmung auf den Text der (in diesem Punkt heute aufgehobenen) Gebührenverordnung (bis Ende Juni 1991: Gebührentarif; AS 1991 S. 1312) zum SchKG (AB 1994 N 1413, Votum Suzette Sandoz) bzw. einer Anpassung an den Wortlaut von Art. 31 Abs. 2 OG (AB 1994 S 1092, Votum Sergio Salvioni) wurde in die endgültige Fassung von Art. 20a Abs. 1 SchKG die Möglichkeit der Auflage einer Busse und von Kosten (einzig) für den Fall "böswilliger oder mutwilliger" Beschwerdeführung aufgenommen. Aus dem Gesagten und aus dem ausdrücklichen Vorbehalt in Art. 20a Abs. 3 SchKG zu Gunsten des kantonalen Rechts für das übrige Verfahren ist zu schliessen, dass eine Verletzung des Anstandes gegebenenfalls nach diesem Recht zu ahnden ist. Allerdings darf die Sanktion Bundesrecht nicht widersprechen, namentlich die in Art. 20a Abs. 1 SchKG hinsichtlich der Auflage von Verfahrenskosten enthaltene abschliessende Regelung nicht missachten.
b) Soweit Bezirks- und Obergericht bemerken, die Eingaben des Beschwerdeführers wiesen einen ungebührlichen Inhalt auf bzw. seien in einem ungebührlichen Ton abgefasst, vermögen ihre Feststellungen mithin von vornherein keine Grundlage für eine Kostenauflage nach Art. 20a Abs. 1 zweiter Satz SchKG abzugeben. Sodann ist darauf hinzuweisen, dass die untere Aufsichtsbehörde immerhin in Betracht gezogen hat, die Eingaben des Beschwerdeführers an den für Klagen gemäss Art. 85 SchKG zuständigen Richter zu leiten, und dass sie der Mitwirkungsbeirätin deshalb Frist angesetzt hat, um allenfalls ein entsprechendes Einverständnis abzugeben. Dem Entscheid des Bezirksgerichts ist nicht näher zu entnehmen, was der Beschwerdeführer vorgebracht hatte und inwiefern seine Eingaben den formellen Anforderungen nicht genügten. Allein aus der Tatsache, dass ein Beschwerdeführer - auch auf eine gestützt auf das kantonale Verfahrensrecht erlassene Einladung zur Verbesserung hin - keine den formellen Erfordernissen genügende Beschwerde einreicht, darf nicht auf ein bös- oder mutwilliges Verhalten geschlossen werden. Gerade bei einer Person, die unter Beiratschaft steht, kann es sich um blosses Unvermögen handeln. Aus dem Entscheid des Bezirksgerichts geht schliesslich nicht etwa hervor, dass Umstände eines allfälligen früheren Beschwerdeverfahrens in die Würdigung des Verhaltens des Beschwerdeführers einbezogen worden wären.
c) Unter den dargelegten Gegebenheiten war die von der unteren Aufsichtsbehörde gestützt auf Art. 20a Abs. 1 SchKG angeordnete und von der Vorinstanz bestätigte Kostenauflage nicht gerechtfertigt. Das Gleiche gilt für den Kostenentscheid der oberen Aufsichtsbehörde bezüglich des bei ihr durchgeführten Verfahrens. In diesen Punkten ist die Beschwerde daher gutzuheissen.
_
Lausanne, 30. März 2001