(<ref-law>); (eidgenössische Nichtigkeitsbeschwerde gegen das Urteil des Obergerichts des Kantons Zürich, I. Strafkammer, vom 23. Juni 2000), hat sich ergeben:
A.- A._ wurde am 24. April 1998 mit Strafbefehl der Bezirksanwaltschaft Zürich des Lenkens eines Motorfahrzeuges ohne Haftpflichtversicherung im Sinne von <ref-law> und des Lenkens eines Motorfahrzeuges in nichtbetriebssicherem Zustand gemäss <ref-law> schuldig erklärt und zu 14 Tagen Gefängnis sowie einer Busse von Fr. 600.-- verurteilt. Im Strafbefehl wurde zwar einleitend auf die von A._ erstandene Haft vom 2. August bis 20. September 1996 verwiesen, doch unterblieb die Beurteilung der Frage ihrer allfälligen Anrechnung auf die Freiheitsstrafe gemäss <ref-law>. Der Strafbefehl blieb unangefochten.
Das Bezirksgericht Zürich, 6. Abteilung, sprach A._ am 15. April 1999 diverser Betäubungsmitteldelikte und Widerhandlungen gegen das Waffengesetz schuldig, begangen im Zeitraum von November 1996 bis Juli 1997.
Es verurteilte ihn zu 10 Jahren, 5 Monaten und 16 Tagen Zuchthaus, als Zusatzstrafe zum Strafbefehl der Bezirksanwaltschaft Zürich vom 24. April 1998. Das Bezirksgericht rechnete die von A._ seit dem 8. Juli 1997 erstandenen 647 Tage Untersuchungs- und Sicherheitshaft sowie den vorzeitigen Strafvollzug auf die Freiheitsstrafe an.
Auf Berufung des Verurteilten hin sprach ihn das Obergericht des Kantons Zürich am 23. Juni 2000 von drei Vorwürfen frei. Es verurteilte ihn wegen Widerhandlungen gegen Art. 19 Ziff. 1 Abs. 4 - 6 BetmG i.V.m. <ref-law> sowie mehrfacher Widerhandlung gegen <ref-law> zu einer Zuchthausstrafe von acht Jahren, elf Monaten und sechzehn Tagen, als Zusatzstrafe zum Strafbefehl der Bezirksanwaltschaft Zürich vom 24. April 1998. Das Obergericht rechnete die von A._ seit dem
8. Juli 1997 erstandenen 1082 Tage Untersuchungs- und Sicherheitshaft sowie den vorzeitigen Strafvollzug auf die Freiheitsstrafe an.
Das Kassationsgericht des Kantons Zürich wies am 10. Dezember 2001 eine kantonale Nichtigkeitsbeschwerde von A._ ab, soweit es darauf eintrat.
B.- A._ führt eidgenössische Nichtigkeitsbeschwerde mit dem Antrag, das Urteil des Obergerichts des Kantons Zürich vom 23. Juni 2001 aufzuheben und die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Das Obergericht und die Staatsanwaltschaft des Kantons Zürich verzichten auf eine Stellungnahme zur Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer macht eine Verletzung von <ref-law> geltend. Er bringt vor, die Vorinstanz hätte die im früheren Verfahren erstandene Untersuchungshaft auf die Zusatzstrafe anrechnen müssen. Der Grundsatz der Identität der Tat stehe dem nicht entgegen, da <ref-law> i.V.m. <ref-law> gesetzliche Grundlage der Anrechnung bildeten und insoweit der Grundsatz der Verfahrensidentität massgebend sei. Auch die Rechtskraft des früheren Urteils stehe einer Anrechnung nicht im Wege, da sich der Strafbefehl dazu ausschweige. Gegenstand der Rechtskraft könne nur sein, was im Urteilsdispositiv festgelegt sei. Hinzu komme, dass sich der Beschwerdeführer im Zeitpunkt des Erlasses des Strafbefehls bereits im neuen Verfahren in Untersuchungshaft befunden habe, so dass eine Zusatzstrafe habe erwartet werden können (Beschwerde, S. 6).
a) Hat der Richter gemäss <ref-law> eine mit Freiheitsstrafe bedrohte Tat zu beurteilen, die der Täter begangen hat, bevor er wegen einer andern Tat zu Freiheitsstrafe verurteilt worden ist, so bestimmt der Richter die Strafe so, dass der Täter nicht schwerer bestraft wird, als wenn die mehreren strafbaren Handlungen gleichzeitig beurteilt worden wären. Unter dem Gesichtspunkt des <ref-law> hat der Richter die Strafe so zu bestimmen, wie wenn er die mehreren strafbaren Handlungen gleichzeitig beurteilen würde: Der Täter soll durch die Aufteilung der Strafverfolgung in mehrere Verfahren weder benachteiligt noch besser gestellt werden (<ref-ruling> E. 2a, 109 IV 68 E. 1 zu <ref-law>). Bei der Bemessung der gedanklich zu bestimmenden Gesamtstrafe und damit auch der Zusatzstrafe ist der Richter sowohl in Bezug auf die Strafart als auch hinsichtlich der Art des Vollzugs nicht an den rechtskräftigen ersten Entscheid gebunden (vgl. <ref-ruling> E. 2a und b; <ref-ruling> E. 2d S. 93, mit Hinweisen; Trechsel, Kurzkommentar, 2. Aufl.
1997, <ref-law> N 18, 25, 29).
Der Beschwerdeführer beging die Taten vor dem Erlass und der Rechtskraft des Strafbefehls der Bezirksanwaltschaft Zürich vom 24. April 1998, weshalb die Vorinstanz zu Recht eine Zusatzstrafe zu diesem Urteil ausfällte.
b) Die Vorinstanz hat sich nicht zur Frage der Anrechnung der im ersten Verfahren erstandenen Untersuchungshaft an die Zusatzstrafe geäussert.
aa) Gemäss <ref-law> rechnet der Richter dem Verurteilten die Untersuchungshaft auf die Freiheitsstrafe an, soweit der Täter die Untersuchungshaft nicht durch sein Verhalten nach der Tat herbeigeführt oder verlängert hat. Die Nichtanrechnung ist nur in eng begrenzten Ausnahmefällen zulässig. Die Untersuchungshaft ist anzurechnen, soweit sie der Beschuldigte nicht durch sein Verhalten nach der Tat in der Absicht herbeigeführt oder verlängert hat, dadurch den Strafvollzug zu verkürzen oder zu umgehen (<ref-ruling> mit Hinweisen). Als Untersuchungshaft gilt jede in einem Strafverfahren verhängte Haft, Untersuchungs- und Sicherheitshaft (<ref-law>).
Der Anrechnung der Untersuchungshaft im ersten Verfahren auf die Freiheitsstrafe im zweiten Verfahren steht der Grundsatz der Identität der Tat (<ref-ruling> E. 2) grundsätzlich nicht entgegen, weil Art. 68 Ziff. 2 i.V.m. <ref-law> gesetzliche Grundlage der Anrechnung bildet und insoweit der Grundsatz der Verfahrensidentität massgebend ist (vgl. Trechsel, a.a.O., Art. 69 N 15; grundlegend Martin Schubarth, Anrechnung von Untersuchungshaft auf eine ausgesprochene Strafe oder Entschädigung für ungerechtfertigte Untersuchungshaft?, ZStrR 116/1998 S. 112 f.).
bb) Im hier zu beurteilenden Fall hat die Bezirksanwaltschaft offensichtlich vergessen, im Strafbefehl vom 24. April 1998 auch über die Anrechnung der vom 2. August bis 20. September 1996 erstandenen Untersuchungshaft zu befinden. Am 8. Juli 1997 wurde der Beschwerdeführer wegen anderer, zeitlich vor den mit Strafbefehl beurteilten Taten begangener Delikte in Untersuchungshaft gesetzt. Der Strafbefehl wurde dem Beschwerdeführer im Verlauf dieser neuen Haft eröffnet. In einer solchen Situation verletzt es Bundesrecht und den Grundsatz der Verfahrensidentität, wenn die im ersten Verfahren erstandene Untersuchungshaft, für die der Betroffene nicht entschädigt wurde, weder auf die Zusatzstrafe angerechnet noch bei der eigentlichen Strafzumessung strafmindernd berücksichtigt wird.
2.- Die Beschwerde ist deshalb gutzuheissen. Bei diesem Ausgang des Verfahrens werden keine Kosten erhoben und wird dem Beschwerdeführer eine angemessene Entschädigung aus der Bundesgerichtskasse ausgerichtet. Das Gesuch um unentgeltliche Rechtspflege ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.- Die eidgenössische Nichtigkeitsbeschwerde wird gutgeheissen, Dispositivziffer 3 des Urteils des Obergerichts des Kantons Zürich, I. Strafkammer, vom 23. Juni 2000 aufgehoben und die Sache zur Neubeurteilung an die Vorinstanz zurückgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege ist gegenstandslos.
3.- Es werden keine Kosten erhoben.
4.- Dem Beschwerdeführer wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
5.- Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft und dem Obergericht (I. Strafkammer) des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 11. März 2002
Im Namen des Kassationshofes
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: