(Strafverfahren), hat sich ergeben:
A.- Mit Verfügung vom 22. September 1998 stellte die Bezirksanwaltschaft Uster die Strafuntersuchung gegen N._ "betreffend Betäubungsmittelgesetz" ein und auferlegte ihm die Kosten. In der Begründung wird zur Prozessgeschichte ausgeführt:
"1. Am 16. Oktober 1997 wurde N._ zusammen
mit in- und ausländischen Drogenhändlern verhaftet,
weil er seine Wohnung an der X.-Strasse in
Dübendorf an den albanischen Drogendelinquenten
S._ und später an dessen Nachfolger
T._ untervermietet hatte, während er bei
seiner Freundin K._ wohnte, deren Sohn
ebenfalls unter dem Verdacht schweren Betäubungsmittelhandels
inhaftiert wurde. In der Wohnung
wurden Bargeld, Drogenhändlerutensilien, einschlägige
Geschäftsunterlagen und Kommunikationsmittel
beschlagnahmt. Das Verfahren gegen die andern Angeschuldigten
wird separat geführt. Die Verzeigung
N._s wegen Widerhandlung gegen das Bundesgesetz
über Aufenthalt und Niederlassung der Ausländer
wird separat erledigt (Strafbefehl).. "
Mit Strafbefehl vom gleichen Tag verurteilte die Bezirksanwaltschaft Uster N._ wegen Widerhandlung gegen das ANAG zu einem Monat Gefängnis bedingt, abzüglich der erstandenen Untersuchungshaft von 7 Tagen. Der Strafbefehl blieb unangefochten.
B.- Mit Eingabe vom 8. Oktober 1998 verlangte N._ eine gerichtliche Beurteilung der Kosten- und Entschädigungsfolgen der Einstellungsverfügung. Dabei stellte er folgende Anträge:
"1. Die Kosten der mit Verfügung der Bezirksanwaltschaft
Uster vom 22. September 1998 eingestellten
Strafuntersuchung B/Unt. Nr.Sr/1998/0333 seien auf
die Staatskasse zu nehmen.
2. Dem Gesuchsteller sei eine Genugtuung von
Fr. 1'700.-- und für Umtriebe in der eingestellten
Untersuchung eine Entschädigung von Fr. 4'836. 90
zuzusprechen.
3. Die Kosten des Verfahrens betreffend gerichtliche
Beurteilung seien auf die Gerichtskasse zu
nehmen und dem Gesuchsteller sei für dieses
Verfahren eine angemessene Umtriebsentschädigung
zuzusprechen.. "
Mit Verfügung vom 14. Mai 1999 hiess der Einzelrichter in Strafsachen des Bezirksgerichts Uster Ziff. 1 des Rechtsbegehrens gut und nahm die Kosten der eingestellten Untersuchung auf die Staatskasse. In teilweiser Gutheissung von Ziffer 2 sprach er N._ für das Untersuchungsverfahren eine Entschädigung von Fr. 2'025.-- zu; im Übrigen wies er Ziffer 2 des Rechtsbegehrens ab. Die Verfahrenskosten nahm er zu 4/13 auf die Staatskasse und auferlegte sie zu 9/13 N._. Eine Prozessentschädigung sprach er ihm nicht zu.
Er erwog, die Voraussetzung für die Auferlegung der Verfahrenskosten an N._ seien nicht gegeben. Die geltend gemachte Umtriebsentschädigung von Fr. 4'836. 90 hielt er im Rahmen von Fr. 2'025.-- für ausgewiesen. In Bezug auf die geltend gemachte Genugtuung von Fr. 1'700.-- für die erstandene Untersuchungshaft kam der Einzelrichter zum Schluss, die Untersuchungshaft sei einzig wegen des Verdachts auf Drogenhandel angeordnet worden. Nach der in der Lehre allerdings kritisierten Praxis des Zürcher Kassationsgerichts hätte sie daher nicht im Verfahren wegen Verstosses gegen das ANAG berücksichtigt werden dürfen. Der Strafbefehl vom 22. September 1998 sei in dieser Beziehung fragwürdig; das ändere allerdings nichts daran, dass sich N._ damit abgefunden und ihn nicht angefochten habe, weshalb er in Rechtskraft erwachsen sei. Im Staatshaftungsrecht, zu welchem auch die hier zur Diskussion stehende Haftungsgrundlage von § 43 der Strafprozessordnung des Kantons Zürich vom 4. Mai 1919 (StPO) zähle, gelte indessen das Prinzip der Einmaligkeit des Rechtsschutzes. Nach diesem Grundsatz, der in § 21 Abs. 1 des Haftungsgesetzes vom 14. September 1969 ausdrücklich festgehalten werde, dürften formell rechtskräftige Verfügungen und Entscheide im Staatshaftungsverfahren nicht mehr überprüft werden. Somit sei davon auszugehen, dass die von N._ erlittene Untersuchungshaft durch die Anrechnung auf die bedingte Gefängnisstrafe im Strafbefehl vom 22. September 1998 abgegolten sei. Es bleibe daher kein Raum für weitere Entschädigungs- und Genugtuungsansprüche.
C.- Das Obergericht des Kantons Zürich hiess den Rekurs von N._ gegen den Entscheid des Einzelrichters mit Beschluss vom 19. August 1999 insoweit gut, als dieser ihm eine Prozessentschädigung verweigert hatte. Im Übrigen wies es den Rekurs ab.
Es erwog, das Kassationsgericht habe in einem prozessual vergleichbar gelegenen Fall (RB KASSGZ 1996 NR. 145) tatsächlich entschieden, dass die ungerechtfertigte Untersuchungshaft wegen eines bestimmten Tatverdachts nicht durch Anrechnung an die Strafe in einem anderen Verfahren abgegolten werden dürfe. § 43 Abs. 1, 3 und 4 StPO würden den Anspruch auf Ersatz des Schadens für Untersuchungshaft und Zahlung einer Geldsumme als Genugtuung begründen. Dieser Anspruch könne nicht durch die (fehlerhafte) Anrechnung auf eine Strafe für Delikte, für die die Untersuchungshaft nicht angeordnet worden sei, abgegolten werden. Dieser Argumentation könne es sich nicht anschliessen (S. 5 ff.). Nach Schubarth (ZStr 1998 S. 112 f.) sprächen sachliche Gründe für die Anrechnung von ungerechtfertigter Haft an eine ausgesprochene Strafe. Da entzogene Freiheit nicht zurückgegeben werden könne, solle die Anrechnung von Untersuchungshaft auf eine wegen eines anderen Verfahrensgegenstandes angeordnete Strafe den Vorrang haben vor dem Geldersatz. Dieser Kritik der Lehre folgend habe sich denn das Obergericht auch schon wiederholt über die vom Kassationsgericht und vom Bundesgericht in älteren Entscheiden vertretene Auffassung der Tatidentität hinweggesetzt, nach welcher Untersuchungshaft nur bei der Verurteilung angerechnet werden dürfe, für die sie angeordnet worden sei. Eine Lockerung sehe auch der Vorentwurf der Expertenkommission zum Allgemeinen Teil des Strafrechts vor, welcher vom Prinzip der Verfahrensidentität ausgehe, wonach die Untersuchungshaft in dem Verfahren angeordnet worden sein müsse, welches zur Ausfällung der Strafe führe. Das Obergericht hielt zusammenfassend fest, dass die Anrechnung der Untersuchungshaft im Strafbefehl vom 22. September 1998 nach seiner (von derjenigen des Kassationsgerichts allerdings abweichenden) Praxis nicht fehlerhaft gewesen sei. Hinzu komme, dass sich das Kassationsgericht mit der Frage der "doppelten Anrechnung" nicht auseinander gesetzt habe. Im umstrittenen Strafbefehl habe der dafür zuständige Bezirksanwalt die Untersuchungshaft an die Strafe angerechnet, und der Entscheid sei in Rechtskraft erwachsen.
Der Einzelrichter habe daher zu Recht dessen Bindungswirkung anerkannt.
D.- Das Kassationsgericht des Kantons Zürich wies die Nichtigkeitsbeschwerde von N._ am 2. Oktober 2000 ab, soweit es darauf eintrat.
E.- Mit staatsrechtlicher Beschwerde wegen Verletzung von Art. 9 und Art. 29 Abs. 2 BV beantragt N._, den Entscheid des Kassationsgerichts aufzuheben.
Das Obergericht verzichtet auf Vernehmlassung. Das Kassationsgericht hält sinngemäss am angefochtenen Entscheid fest.

Das Bundesgericht zieht in Erwägung:
1.- Beim angefochtenen Urteil des Kassationsgerichts handelt es sich um einen letztinstanzlichen kantonalen Endentscheid (Art. 86 Abs. 1 OG). Der Beschwerdeführer ist durch das Nichteintreten auf seine kantonale Nichtigkeitsbeschwerde und die Ablehnung seines Schadenersatz- und Genugtuungsanspruchs in seinen rechtlich geschützten Interessen berührt (Art. 88 OG) und er macht die Verletzung von verfassungsmässigen Rechten geltend (Art. 84 Abs. 1 lit. b OG). Da diese und auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.- Das Kassationsgericht trat im angefochtenen Entscheid im Wesentlichen auf die Nichtigkeitsbeschwerde nicht ein. Es erwog dazu unter anderem, im obergerichtlichen Beschluss "geht es zur Hauptsache um die Frage, ob dem Beschwerdeführer die 7-tägige Untersuchungshaft im Strafbefehl vom 22. September 1998 betreffend ANAG zu Recht angerechnet wurde (und es somit an der Voraussetzung für Schadenersatz und Genugtuung "ungerechtfertigt erlittene Haft" fehlt), obwohl die Untersuchungshaft grundsätzlich aufgrund des Verdachts der Zuwiderhandlung gegen das Betäubungsmittelgesetz angeordnet wurde". Dabei handle es sich um eine Frage des materiellen Bundesrechts, welche es nicht prüfen könne. Sie könne auch nicht "als Vorfrage eidgenössischen Rechts (§ 430 Abs. 2 StPO) betrachtet und auf diesem Weg dem Bundesgericht entzogen" werden; vielmehr stelle die Anwendung von Art. 69 StGB die Hauptfrage des vorliegenden Verfahrens dar, welche es nicht prüfen könne (angefochtener Entscheid S. 11). Das Gleiche gelte für die Rüge des Beschwerdeführers, er habe durch die ungerechtfertigte Festnahme und die Untersuchungshaft einen materiellen Schaden von Fr. 1'261.-- und immaterielle Unbill erlitten, die auch durch ihre Anrechnung an die bedingte Freiheitsstrafe nicht aufgewogen worden seien.
Diese Ausführungen richteten sich "einzig gegen die Tatsache, dass durch die Anrechnung der Haft auf den bedingt aufgeschobenen Strafvollzug die materielle Unbill nicht ausgeglichen werden könne". Dieses Vorbringen würde jedoch genauso zutreffen, wenn er wegen der Betäubungsmitteldelikte verurteilt worden wäre und die Untersuchungshaft auf diese Strafe angerechnet worden wäre; auch dabei gehe es daher im Endeffekt einzig um die Frage der Anrechnung der Untersuchungshaft, mithin um die Anwendung von Art. 69 StGB.
Der Beschwerdeführer rügt dies sinngemäss als formelle Rechtsverweigerung. Seiner in diesem Zusammenhang ebenfalls erhobenen Rüge, das Kassationsgericht sei wegen einer willkürlichen Auslegung von § 430b StPO auf seine Rüge nicht eingetreten, kommt keine selbständige Bedeutung zu, da das Bundesgericht frei prüft, ob eine formelle Rechtsverweigerung vorliegt (<ref-ruling> E. 3a; <ref-ruling> E. 2b/aa; <ref-ruling> E. 2a; <ref-ruling> E. 2a).
3.-Der Auffassung des Kassationsgerichts, die im Verfahren zu entscheidende Hauptfrage sei, ob die im Strafbefehl vorgenommene Anrechnung der wegen Verdachts auf Drogenhandel erlittenen Untersuchungshaft auf die Strafe wegen eines ANAG-Deliktes zu Recht oder zu Unrecht erfolgte, kann nicht gefolgt werden.
a) Die Hauptfrage, die sich im kantonalen Verfahren stellt, ist, ob dem Beschwerdeführer wegen der erlittenen 7-tägigen Untersuchungshaft nach der Einstellung des Strafverfahrens wegen des Verdachts auf Betäubungsmittelhandel gemäss § 43 StPO-ZH Schadenersatz- und Genugtuungsansprüche zustehen. Sie ist ohne weiteres eine solche des kantonalen Rechts. Zu dieser kantonalrechtlichen Hauptfrage gehört auch die Frage, ob ein Schaden oder eine immaterielle Unbill und damit ein Entschädigungsanspruch zu verneinen sei, wenn die Untersuchungshaft auf eine ausgefällte Freiheitsstrafe angerechnet worden ist. Hängt deren Beantwortung davon ab, ob die Untersuchungshaft zu Recht oder zu Unrecht angerechnet worden ist, ist diese letztere Frage eine Vorfrage, die sich nach Art. 69 StGB richtet, und damit des Bundesrechts.
Soweit das Kassationsgericht die Frage, ob die Untersuchungshaft im Strafbefehl zu Recht oder zu Unrecht angerechnet worden sei, als für den Bestand der geltend gemachten Ansprüche entscheidend betrachtete, hätte es diese Vorfrage des eidgenössischen Rechts, von deren Beantwortung der Entscheid über eine Frage des kantonalen Rechts abhing, nach dem klaren Wortlaut von § 430b Abs. 2 Satz 2 StPO prüfen können und müssen. Weder aus den vom Kassationsgericht angeführten, prozessual anders gelegenen Entscheiden des Bundesgerichts (<ref-ruling>, unveröffentlichter Entscheid 1P.498/1991 vom 8. November 1991, E. 3d) noch aus der angeführten Literaturstelle (Erhard Schweri, Eidgenössische Nichtigkeitsbeschwerde in Strafsachen, Bern 1993, S. 54) lässt sich ableiten, dass der Beschwerdeführer den Entscheid des Obergerichts mit Nichtigkeitsbeschwerde beim Kassationshof des Bundesgerichts hätte anfechten können mit der Begründung, die von ihm geltend gemachten kantonalrechtlichen Schadenersatz- und Genugtuungsansprüche würden zur Hauptsache vom Bundesstrafrecht beherrscht bzw. von diesem präjudiziert.
b) Eine Frage des kantonalen Rechts stellt auch die Frage dar, ob der für die Beurteilung der Schadenersatz- und Genugtuungsansprüche nach § 43 StPO zuständige Richter an den rechtskräftigen Entscheid des Strafrichters über die Anrechnung der Untersuchungshaft gebunden ist oder nicht, die das Obergericht bejahte und bei der die Auffassung des Kassationsgerichts nicht klar ist. Ist dies der Fall, hat der im Staatshaftungsverfahren zuständige Richter nicht zu prüfen, ob die Untersuchungshaft zu Recht oder zu Unrecht angerechnet wurde, und stellt sich diese Vorfrage des Bundesrechts daher nicht. Auch insoweit trat das Kassationsgericht zu Unrecht gestützt auf § 430b StPO auf die kantonale Nichtigkeitsbeschwerde nicht ein.
c) Ob die Anrechnung der erstandenen Haft bloss auf eine Strafe, deren Vollzug bedingt aufgeschoben wurde, einen Entschädigungsanspruch nicht entfallen lässt, wie der Beschwerdeführer geltend macht, ist ebenfalls allein eine Frage des kantonalen Staatshaftungsrechts. Es geht darum, ob bei einer solchen Anrechnung ein Schaden oder eine immaterielle Unbill als durch die Anrechnung behoben zu betrachten ist oder nicht.
Das Kassationsgericht hat danach eine formelle Rechtsverweigerung begangen, indem es auf die Rüge des Beschwerdeführers, seine Schadenersatz- und Genugtuungsforderung sei durch den Einzelrichter und das Obergericht in Verletzung von materiellen Gesetzesvorschriften im Sinne von § 430 Abs. 1 Ziff. 6 StPO abgewiesen worden, nicht eintrat.
Die Rüge ist begründet.
4.-Der Entscheid des Kassationsgerichts krankt zudem an einem inneren Widerspruch.
a) Im von ihm auch selber angeführten Entscheid (RB KASSGZ 1996 NR. 145; ausführlicher zitiert im Entscheid des Obergerichts vom 19. August 1999, S. 7 f.), welcher nach seinen eigenen Ausführungen prozessual gleich lag wie der vorliegende, hat das Kassationsgericht ausgeführt, der "Anspruch auf Schadenersatz bzw. Genugtuung für zu Unrecht erstandene Untersuchungshaft kann nicht durch die Anrechnung der Untersuchungshaft auf eine Strafe für andere Delikte, hinsichtlich derer keine Untersuchungshaft angeordnet worden war, abgegolten werden". Daraus ergebe sich, dass es wegen der Anrechnung der Untersuchungshaft an die Freiheitsstrafe und der Ausrichtung einer Entschädigung zu einer "doppelten Gutschrift" zu Gunsten des Angeklagten kommen könne (angefochtener Entscheid S. 16).
b) Das Kassationsgericht hätte gestützt auf diese seine Auffassung, eine "doppelte Gutschrift" sei möglich, die Nichtigkeitsbeschwerde gutheissen müssen, da der Beschwerdeführer gerade im Sinne dieser "doppelten Gutschrift" seine Schadenersatz- und Genugtuungsansprüche nach § 43 StPO ungeachtet der bereits erfolgten (fehlerhaften) Anrechnung der Untersuchungshaft geltend machte. Begründung und Ergebnis des angefochtenen Entscheides sind in diesem Punkt offensichtlich unvereinbar. Das Kassationsgericht verfiel in Willkür und beging eine materielle Rechtsverweigerung, indem es die Nichtigkeitsbeschwerde abwies, obwohl es eine "doppelte Gutschrift" als möglich betrachtete und der Einzelrichter sowie das Obergericht eine solche verneint und deswegen die Entschädigungsansprüche des Beschwerdeführers abgelehnt hatten.
5.- Die Beschwerde ist somit wegen formeller und materieller Rechtsverweigerung gutzuheissen und der angefochtene Entscheid aufzuheben, ohne dass die weiteren Rügen zu prüfen wären.
Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (Art. 156 Abs. 2 OG). Hingegen hat der unterliegende Kanton Zürich dem Beschwerdeführer für das bundesgerichtliche Verfahren eine angemessene Entschädigung zu bezahlen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Beschwerde wird gutgeheissen und der angefochtene Entscheid des Kassationsgerichts vom 2. Oktober 2000 aufgehoben.
2.- Es werden keine Kosten erhoben.
3.- Der Kanton Zürich hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4.- Dieses Urteil wird dem Beschwerdeführer sowie der Staatsanwaltschaft, dem Obergericht, III. Strafkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
_
Lausanne, 13. Februar 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: