Aus den Erwägungen:
1.- Das Obergericht hat seinen Entscheid am 15. Dezember 2000 als eingeschriebene Sendung an die vom Beschwerdeführer bezeichnete Postlagernd-Adresse (Postamt B.) aufgegeben. Mit Datum vom 18. Dezember 2000 teilte dieses Postamt der Vorinstanz mit, der Entscheid habe noch nicht zugestellt werden können und werde auf Grund eines (Zurückbehalte-)Auftrags des Adressaten vielleicht noch längere Zeit, höchstens jedoch zwei Monate, lagern.
a) Postlagersendungen bleiben (längstens) einen Monat bei der Bestimmungspoststelle liegen (Publikation der Schweizerischen Post "Briefpost Schweiz", S. 39 der Ausgabe Januar 1999 bzw. S. 38 der Ausgabe Januar 2001; früher: Art. 166 Abs. 2 lit. a der Verordnung (1) zum Postverkehrsgesetz).
Nach der bisherigen bundesgerichtlichen Rechtsprechung gilt eine solche Sendung, wird sie nicht früher abgeholt, als am letzten Tag der Monatsfrist zugestellt, sofern der Adressat wie hier, wo der Beschwerdeführer selbst den Entscheid der oberen kantonalen Aufsichtsbehörde veranlasst hatte, mit der Zustellung hatte rechnen müssen (<ref-ruling> E. 2c S. 102; vgl. auch <ref-ruling> E. 1c S. 61 f.). Es fragt sich, ob an dieser Rechtsprechung, die demjenigen einen prozessualen Vorteil verschafft, der sich den Entscheid einer Behörde "postlagernd" zukommen lässt - was die Zustellungsform der Gerichtsurkunde ausschliesst (S. 19 bzw. S. 10 der erwähnten Publikation der Post) - festgehalten werden kann oder ob vom Adressaten, der einen Entscheid erwartet, nicht zu verlangen ist, dafür zu sorgen, dass ihn die Post innerhalb der bei Gerichtsurkunden oder eingeschriebenen Sendungen geltenden Abholfrist von sieben Tagen (hier ab Eingang bei der Bestimmungspoststelle) erreicht (zum Zurückbehaltungsauftrag vgl. <ref-ruling> ff.). Würde die genannte Sieben-Tage-Frist als massgebend betrachtet, wäre die vorliegende Beschwerde verspätet: Auf Grund der vom Postamt B. an die Vorinstanz gerichteten Meldung vom 18. Dezember 2000 (Montag) ist davon auszugehen, dass der angefochtene Entscheid (spätestens) an jenem Tag dort einging. Der erste Tag der Frist wäre mithin der 19. Dezember und der siebte - angesichts der Weihnachtsfeiertage - auf jeden Fall der 27. Dezember 2000 gewesen. Die zehntägige Frist von <ref-law> hätte dann am 28. Dezember 2000 zu laufen begonnen, zumal der angefochtene Entscheid sich darauf beschränkt, den Beschwerdeweiterzug des Beschwerdeführers als unbegründet abzuweisen, soweit auf jenen überhaupt einzutreten war, und die Bestimmungen über Betreibungsferien und Rechtsstillstand (Art. 56 und 63 SchKG) somit nicht zum Tragen gekommen sind (dazu <ref-ruling> E. 4 und 5 S. 9 ff., 11 E. 1 S. 12 ff.).
Da ausserdem Schuldbetreibungs- und Konkurssachen von der Vorschrift über den Stillstand der Fristen ausdrücklich ausgenommen sind (Art. 34 Abs. 2 OG), wäre das Ende der Beschwerdefrist auf den 8. Januar 2001 gefallen (der zehnte Tag, der 6. Januar, war ein Samstag). Die Beschwerde ist indessen erst am 15. Januar 2001 zur Post gebracht worden.
Rechtzeitig ist die Beschwerde demgegenüber, wenn dem Beschwerdeführer auf Grund der bisherigen Rechtsprechung zugestanden wird, dass die Beschwerdefrist zu laufen begonnen hat, als er den angefochtenen Entscheid am 4. Januar 2001 in Empfang nahm. Der zehnte Tag ist in diesem Fall der 14. Januar (Sonntag), so dass mit der Postaufgabe vom Montag,
15. Januar 2001, die Frist gewahrt worden ist.
b) Die Frage der Rechtzeitigkeit mag hier letztlich offen bleiben. Wie darzulegen sein wird, hat die erkennende Kammer die Beschwerde ohnehin von Amtes wegen zu behandeln.
3.- Das Obergericht erklärt, die Vorschriften über den Rechtsstillstand seien nicht im öffentlichen Interesse aufgestellt worden, sondern einzig zum Schutz des Betreibungsschuldners.
Die strittige Publikation von Betreibungsurkunden, die in den vom 1. Februar 2000 bis 13. Februar 2001 dauernden Zivildienst des Beschwerdeführers gefallen ist, hat für die Vorinstanz deshalb einzig zur Folge, dass die Zahlungsbefehle ihre Wirkung erst nach Entlassung des Beschwerdeführers aus dem Zivildienst entfalteten.
a) Nach der seit dem 1. Januar 1997 geltenden Fassung von <ref-law> besteht für einen Schuldner, der sich im Militär-, Zivil- oder Schutzdienst befindet, während der Dauer des Dienstes Rechtsstillstand; hat der Schuldner vor der Entlassung oder Beurlaubung mindestens 30 Tage ohne wesentlichen Unterbruch Dienst geleistet, so besteht der Rechtsstillstand auch noch während der zwei auf die Entlassung oder Beurlaubung folgenden Wochen (<ref-law>). Vom Rechtsstillstand ausgenommen sind jedoch Betreibungen für periodische familienrechtliche Unterhalts- und Unterstützungsbeiträge (<ref-law>). Ausser in Arrestverfahren oder wenn es sich um unaufschiebbare Massnahmen zur Erhaltung von Vermögensgegenständen handelt, dürfen gegen einen Schuldner, dem der Rechtsstillstand gewährt ist, keine Betreibungshandlungen vorgenommen werden (<ref-law>). In der Betreibung auf Pfandverwertung ist jedoch der Zahlungsbefehl auch während des wegen der erwähnten Dienstleistungen gewährten Rechtsstillstandes zuzustellen, wenn dieser drei Monate gedauert hat (<ref-law>), und nach <ref-law> kann der Gläubiger für die Dauer des genannten Rechtsstillstandes verlangen, dass das Betreibungsamt ein Güterverzeichnis aufnehme.
b) Die Publikation ... der gegen den Beschwerdeführer ergangenen Zahlungsbefehle fiel mitten in die durch den Zivildienst begründete Schonzeit. Nach der Rechtsprechung ist dem Verbot von Betreibungshandlungen während der Schonzeit nicht (generell) eine absolute Wirkung beizumessen: So wie eine aus einem andern Grund fehlerhafte Zustellung eines Zahlungsbefehls nicht zwingend zu wiederholen ist (dazu <ref-ruling> E. 2b S. 84 f.; <ref-ruling> E. 1 S. 13 mit Hinweisen), ist beispielsweise auch die Zustellung während Betreibungsferien nicht nichtig. Die Missachtung von <ref-law> hat einzig zur Folge, dass die Betreibungshandlung ihre Rechtswirkung erst am ersten Tag nach Ablauf der Betreibungsferien entfaltet (<ref-ruling> E. 2b S. 285 mit Hinweisen). Diese Praxis ist dadurch gerechtfertigt, dass die in Frage stehende Schonzeit allein den Schuldner schützen soll (vgl. <ref-ruling> E. 4b S. 42 mit Hinweis).
Anders verhält es sich beim Rechtsstillstand wegen Militär-, Zivil- oder Schutzdienstes: Hier geht es nicht nur um Individualinteressen des Dienstpflichtigen, sondern auch um das Interesse der Allgemeinheit daran, dass die zu erbringende Dienstleistung nicht beeinträchtigt werde (vgl. Fritzsche/ Walder, Schuldbetreibung und Konkurs nach schweizerischem Recht, 3. Aufl. , I. Bd., § 13 Rz 8; Pierre-Robert Gilliéron, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, N 16 zu Art. 57; Hugo Wyssen, Geschlossene Zeiten, Betreibungsferien und Rechtsstillstand [Art. 56 ff.
SchKG], Diss. Basel 1995, S. 130; Karl Rüegger, Die Rechtsstellung des schweizerischen Wehrmannes in der Schuldbetreibung, Diss. Zürich 1947, S. 11). So hat das Bundesgericht denn entschieden, dass die Zustellung eines Zahlungsbefehls während eines Militärdienstes gänzlich unbeachtlich, d.h.
nichtig, sei. Der Wehrmann müsse den ihm während des Dienstes zugestellten Zahlungsbefehl ohne Nachteil vergessen dürfen und es dürfe ihm nicht zugemutet werden, im Dienst etwas vorzukehren, das ihn nach der Entlassung an die fällige Rechtsvorkehr erinnern solle (BGE 67 III 69 f.; im gleichen Sinne auch der Entscheid der Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen des Kantons Genf vom 27. April 1983, veröffentlicht in: BlSchK 1985 S. 93 f., Nr. 22; dazu ferner:
Fritzsche/Walder, a.a.O., § 13 Rz 23; Gilliéron, a.a.O., N 13 und 29 zu Art. 57; Wyssen, a.a.O., S. 131 oben; AlbertKiller, Betreibungsferien und Rechtsstillstand, in: BlSchK 1966 S. 15 oben; Nicolas Jeandin, Schuldbetreibung und Konkurs, Fristen, Betreibungsferien und Rechtsstillstand, SJK 518 S. 20 f.; einheitlich für einen blossen Aufschub der Wirkung: Jaeger, Schuldbetreibung und Konkurs, Zürich 1911, N 5 zu <ref-law>; Amonn/Gasser, Grundriss des Schuldbetreibungs- und Konkursrechts, 6. Aufl. , § 11 Rz 34 f.).
Gründe, von der bisherigen Rechtsprechung abzuweichen, bestehen nicht. Thomas Bauer (Kommentar zum SchKG, N 14 zu Art. 57) hält die Nichtigkeitsfolge für nicht mehr zeitgemäss mit dem Bemerken, die Dauer der dienstbedingten Abwesenheiten der heutigen Militär-, Zivil- oder Schutzdienstpflichtigen lasse sich nicht mit der Länge des Aktivdienstes (in Kriegszeiten) vergleichen. Von <ref-law> (wonach der Rechtsstillstand bei mindestens 30-tägiger Dienstdauer ohne wesentlichen Unterbruch um zwei Wochen verlängert wird) abgesehen, trifft das Gesetz indessen keine Unterscheidung nach der Länge des Dienstes. Namentlich gilt die Schonzeit beispielsweise auch für zwei- oder dreiwöchige Wiederholungskurse.
Ausserdem zeigt gerade der vorliegende Fall, wo es um einen mehr als einjährigen Zivildienst geht, dass auch heutzutage Dienste von längerer Dauer durchaus vorkommen. Zu denken ist ebenfalls an längere Einsätze von Armeeangehörigen im Ausland (dazu Wyssen, a.a.O., S. 13) oder an eine künftige Möglichkeit, die gesamte Militärdienstpflicht ohne Unterbruch in einem Mal zu leisten. Entgegen der - nicht näher begründeten - Auffassung von Bauer (a.a.O.) fehlen ferner sachliche Gründe für eine Sonderbehandlung von Zivildienst- und Zivilschutzdienstleistenden (so auch Jaeger/Walder/Kull/Kottmann, Bundesgesetz über Schuldbetreibung und Konkurs, 4. Aufl. , Zürich 1997, N 7 zu Art. 57). Auch der einer solchen Dienstpflicht Unterworfene ist davon zu bewahren, unter Umständen Monate im Voraus Vorkehrungen treffen zu müssen im Hinblick auf eine rechtzeitige Wahrung seiner Rechte nach Entlassung aus dem Dienst.
c) Die vom Beschwerdeführer beanstandete öffentliche Bekanntmachung von Zahlungsbefehlen ist nach dem Gesagten nichtig, zumal sie offensichtlich nicht Betreibungen für familienrechtliche Unterhalts- und Unterstützungsbeiträge (<ref-law>) betrafen.
Lausanne, 13. Februar 2001