Strafausscheidung (<ref-law>)(eidgenössische Nichtigkeitsbeschwerde gegen den Beschluss des Obergerichts des Kantons Zürich [III. Strafkammer] vom 4. April 2000 [S3/U/O/UG990076/gk]), hat sich ergeben:
A.- Das Obergericht des Kantons Zürich fand im Berufungsverfahren am 7. Mai 1998 B._ der teilweise bandenmässigen Widerhandlung gegen das Betäubungsmittelgesetz schuldig.
Das Kassationsgericht des Kantons Zürich wies eine Nichtigkeitsbeschwerde von B._ am 9. August 1999 ab, soweit es darauf eintrat.
Das Bundesgericht wies am 14. Oktober 1999 eine eidgenössische Nichtigkeitsbeschwerde von B._ gegen das Urteil des Obergerichts ab (BGE 6S.614/1998).
B.- Die vom Obergericht am 7. Mai 1998 beurteilten Straftaten fielen teilweise in die zweijährige Probezeit nach bedingter Entlassung aus dem Strafvollzug, die das damalige Amt für Straf- und Massnahmenvollzug (ASMV) und heutige Amt für Justizvollzug (AJV) mit Verfügung vom 1. November 1995 angeordnet hatte. Auf Grund des Urteils vom 7. Mai 1998 hatte das AJV den Widerruf und die Rückversetzung zu prüfen und stellte im Sinne von <ref-law> das Gesuch um Strafausscheidung.
Das Obergericht des Kantons Zürich stellte mit Beschluss vom 4. April 2000 fest, "dass für die in die vom Amt für Straf- und Massnahmenvollzug mit Verfügung vom 1. November 1995 angesetzte Probezeit von 2 Jahren fallenden, vom Obergericht des Kantons Zürich, I. Strafkammer, am 7. Mai 1998 beurteilten Delikte eine drei Monate übersteigende Strafe ausgefällt worden wäre und deren Vollzug nicht hätte bedingt aufgeschoben werden können".
Das Kassationsgericht des Kantons Zürich wies eine Nichtigkeitsbeschwerde von B._ am 17. Mai 2001 ab, soweit es darauf eintrat.
C.- B._ erhebt eidgenössische Nichtigkeitsbeschwerde mit dem Antrag, den Beschluss des Obergerichts vom 4. April 2000 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
D.- Das Obergericht des Kantons Zürich verzichtet auf eine Stellungnahme.

Das Bundesgericht zieht in Erwägung:
1.- Begeht der Entlassene während der Probezeit eine strafbare Handlung, für die er zu einer drei Monate übersteigenden und unbedingt zu vollziehenden Freiheitsstrafe verurteilt wird, so ordnet die zuständige Behörde die Rückversetzung an. Wird der Entlassene zu einer milderen oder zu einer bedingt zu vollziehenden Strafe verurteilt, so kann die zuständige Behörde von der Rückversetzung Umgang nehmen (<ref-law>).
Regelmässig bestimmen die Strafgerichte bei der Strafzumessung jenen Strafanteil, der auf die während der Probezeit begangene strafbare Handlung entfällt. Vorliegend hatte das Strafgericht diesen Strafanteil auf Grund der Umstände nicht genau festgesetzt. Die Vorinstanz nimmt im Sinne der in <ref-ruling> begründeten Rechtsprechung eine Strafausscheidung vor. Es handelt sich um eine dem Entscheid der zuständigen Vollzugsbehörde gemäss <ref-law> vorausgehende Ausscheidung des Strafanteils, der auf die in der Probezeit verübte Straftat entfällt. Dabei geht es nicht um eine materielle Änderung des rechtskräftigen Urteils, sondern bloss um dessen Präzisierung oder Erläuterung im Sinne einer nachträglichen Unterteilung der in ihrer Gesamtheit unverändert bleibenden Strafe (<ref-ruling> S. 156). Die Vollzugsbehörde muss sich diesbezüglich beim urteilenden Gericht erkundigen (<ref-ruling> E. 1). Das Gericht zieht bei der Strafausscheidung auch die Vorschriften von Art. 63 ff.
StGB heran (<ref-ruling> S. 156). Solche Entscheidungen betreffen die Strafe selbst und stellen nicht blosse Verfügungen über deren Vollzug dar. Diese nachträgliche Quotenaufteilung ist eine strafzumessungsrechtliche Frage (vgl. auch <ref-ruling> und 83 IV 111 zur insoweit vergleichbaren Quotenausscheidung bei der Auslieferung zum Zwecke des Strafvollzugs). Die nachträgliche Strafausscheidung ist daher mit Nichtigkeitsbeschwerde anzufechten und nicht mit Verwaltungsgerichtsbeschwerde.
2.- Wie die Vorinstanz ausführt, ist vom rechtskräftigen Strafurteil vom 7. Mai 1998 auszugehen, das Straftaten des Beschwerdeführers vor und nach der bedingten Entlassung vom 8. November 1995 umfasst. In die Probezeit fielen die in der Anklageschrift unter Ziff. 8 - 10 umschriebenen Sachverhalte (angefochtener Beschluss S. 3 f.; Urteil vom 7. Mai 1998 mit der Anklageschrift S. 4 f.
sowie S. 13 f., E. IV.2). Wie die Vorinstanz weiter ausführt, kann bei der Strafausscheidung der Schuldspruch weder in tatsächlicher noch in rechtlicher Hinsicht erneut überprüft werden (angefochtener Beschluss S. 5; oben E. 1). Sie prüft die vom Beschwerdeführer aufgeworfene Frage ausführlich und kommt zum Ergebnis, dass sich der Beschwerdeführer nach dem Urteil vom 7. Mai 1998 auch im Rahmen der Anklageziffer 8 der bandenmässigen Widerhandlung gegen das Betäubungsmittelgesetz schuldig gemacht hatte, wofür das Gesetz eine Mindeststrafe von einem Jahr Gefängnis vorsehe (angefochtener Beschluss S. 4 ff. sowie S. 7 f., E. 3). Diese Frage der bandenmässigen Begehung mit der Mitangeklagten war Gegenstand der eidgenössischen Nichtigkeitsbeschwerde des Beschwerdeführers vom 15. Juli 1998. Dazu führte der Kassationshof aus, beide Angeklagten hätten nach der Bildung des Konkubinats ihre frühere deliktische Tätigkeit weiter geführt, nun aber nicht mehr allein, sondern im arbeitsteiligen Zusammenwirken.
So sei der Beschwerdeführer beispielsweise nicht beim Erwerb, wohl aber beim Verkauf beteiligt gewesen, und während seines Strafvollzugs habe sein Kunde das Haschisch bei der Mitangeklagten bezogen; es seien demnach organisatorische Mindestansätze vorhanden gewesen und es könne von einem bis zu einem gewissen Grade fest verbundenen und stabilen Team gesprochen werden. Es werde daher zu Recht bandenmässige Begehung angenommen (BGE 6S.614/1998, E. 2a, wo auf S. 14 und 15 des Urteils vom 7. Mai 1998 verwiesen wird). Diese Beurteilung betrifft auch die Anklageziffer 8, wie die Vorinstanz zu Recht annimmt (Urteil vom 7. Mai 1998, S. 13 f., E. IV.2; angefochtener Beschluss S. 6). Die vorinstanzlichen Ausführungen sind zutreffend.
3.- Der Beschwerdeführer macht zudem geltend, die Vorinstanz hätte im Sinne von <ref-ruling> die Rechtsfolgen berücksichtigen müssen (Beschwerde S. 7 f.).
<ref-ruling> betrifft die Strafzumessung. Es sind auch Rechtsfolgen, die sich aus einem bestimmten Strafmass ergeben, zu berücksichtigen (<ref-ruling> E. 3b S. 126). Wie oben ausgeführt, kann bei der Strafausscheidung nicht in das rechtskräftige Urteil eingegriffen werden. Die Strafzumessung als solche ist nicht zu überprüfen.
Indessen könnte sich die Frage der Rechtsfolgenberücksichtigung in Grenzfällen der Strafausscheidung stellen. Ein solcher Fall ist hier aber nicht zu beurteilen:
Erstens überschreitet der auf die Probezeit entfallende Strafanteil angesichts der Anwendbarkeit von <ref-law> die drei Monate von <ref-law> in jedem Fall deutlich. Zweitens wurde eine schlechte Prognose gestellt. Und Drittens wurden die Rechtsfolgen des Strafmasses bei der Strafzumessung im Urteil vom 7. Mai 1998 berücksichtigt, worauf die Vorinstanz zu Recht hinweist (angefochtener Beschluss S. 10).
Dort wurde nämlich ausgeführt: Es könne dem Beschwerdeführer angesichts der zahlreichen Vorstrafen und der erneut einschlägigen Straffälligkeit unmittelbar nach der Entlassung keine günstige Prognose gestellt werden. Habe ihn der Strafvollzug nicht beeindruckt, sei auch von einer blossen Warnstrafe keine bessere Wirkung zu erwarten.
"Dass die bedingte Entlassung widerrufen wird, ändert daran entgegen der Ansicht der Verteidigung [...] nichts" (Urteil vom 7. Mai 1998, S. 23, E. VI.2).
4.- Im Übrigen richtet sich der Beschwerdeführer gegen die tatsächlichen Feststellungen des Entscheides; das ist unzulässig (Art. 273 Abs. 1 lit. b BStP). Der Kassationshof ist an die tatsächlichen Feststellungen der kantonalen Behörde gebunden (Art. 277bis BStP). Insoweit ist auf die Beschwerde nicht einzutreten. Die Beschwerde ist somit unbegründet und abzuweisen, soweit auf sie einzutreten ist. Der Beschwerdeführer trägt die Kosten vor Bundesgericht (Art. 278 BStP).

Demnach erkennt das Bundesgericht:
1.- Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer sowie der Staatsanwaltschaft und dem Obergericht, III. Strafkammer, des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 22. Oktober 2001
Im Namen des Kassationshofes
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: