hat sich ergeben:
A.- Am 29. September 2000 erhob die Bezirksanwaltschaft Zürich Anklage gegen X._ wegen Verbrechens gegen das Betäubungsmittelgesetz und Verweisungsbruchs etc. Der Vorsitzende der 8. Abteilung des Bezirksgerichts Zürich, Vizepräsident lic. iur. E. Leuenberger, setzte die Hauptverhandlung auf den 8. Dezember 2000 an. Am 27. November 2000 stellte X._ ein Ablehnungsbegehren gegen lic. iur.
Leuenberger. Dieser überwies das Begehren dem Obergericht des Kantons Zürich und gab gleichzeitig die gewissenhafte Erklärung ab, dass eine Befangenheit nicht gegeben sei.
Am 6. Dezember 2000 wies die Verwaltungskommission des Obergerichts des Kantons Zürich das Ablehnungsbegehren ab.
B.- X._ führt staatsrechtliche Beschwerde mit dem Antrag, den Beschluss der Verwaltungskommission aufzuheben; es sei festzustellen, dass gegen lic. iur. Leuenberger ein Ablehnungsgrund vorgelegen habe.
C.- Die Verwaltungskommission, lic. iur. Leuenberger und die Bezirksanwaltschaft haben auf eine Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- Die staatsrechtliche Beschwerde ist, von hier nicht gegebenen Ausnahmen abgesehen, rein kassatorischer Natur (<ref-ruling> E. 4 mit Hinweisen). Auf das Feststellungsbegehren des Beschwerdeführers kann deshalb nicht eingetreten werden. Im Übrigen geben die Eintretensvoraussetzungen zu keinen Bemerkungen Anlass.
2.- Der Beschwerdeführer rügt, der angefochtene Beschluss verletze <ref-law>. Lic. iur. Leuenberger habe mit Verfügung vom 6. Januar 1999 die Ausschaffungshaft des Beschwerdeführers verlängert. Lic. iur. Leuenberger sei deshalb vorbefasst gewesen, als die 8. Abteilung des Bezirksgerichtes nach der am 8. Dezember 2000 beschlossenen Ergänzung der Untersuchung den Beschwerdeführer am 20. Dezember 2000 wegen qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz und Widerhandlung gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer zu 3 Jahren Zuchthaus und 10 Jahren Landesverweisung verurteilt habe.
a) <ref-law>, der insoweit inhaltlich mit Art. 58 Abs. 1 aBV übereinstimmt, und Art. 6 Ziff. 1 EMRK enthalten die Garantie des verfassungsmässigen Richters. Danach hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Liegen bei objektiver Betrachtung Gegebenheiten vor, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen, so ist die Garantie verletzt (<ref-ruling> E. 3a mit Hinweisen).
Die Garantie des verfassungsmässigen Richters gilt schon für das erstinstanzliche Verfahren. Die Möglichkeit, das Urteil bei einer ordentlichen Rechtsmittelinstanz anzufechten, vermag am allfälligen Mangel in der Besetzung der Richterbank nichts zu ändern (<ref-ruling> E. 3d [S. 60] mit Hinweisen).
Wird mit staatsrechtlicher Beschwerde eine Verletzung des Anspruchs auf den verfassungs- und konventionsmässigen Richter geltend gemacht, so überprüft das Bundesgericht die Auslegung und Anwendung des kantonalen Verfahrensrechts nur unter dem Gesichtswinkel der Willkür. Mit freier Kognition prüft es dagegen, ob die als vertretbar erkannte Auslegung des kantonalen Prozessrechts mit den Garantien von <ref-law> und Art. 6 Ziff. 1 EMRK vereinbar ist (<ref-ruling> E. 3b mit Hinweisen).
Eine gewisse Besorgnis der Voreingenommenheit und damit Misstrauen in das Gericht kann bei den Parteien dann entstehen, wenn einzelne Gerichtspersonen in einem früheren Verfahren mit der konkreten Streitsache schon einmal befasst waren. In einem solchen Fall so genannter Vorbefassung stellt sich die Frage, ob sich ein Richter durch seine Mitwirkung an früheren Entscheidungen in einzelnen Punkten bereits in einem Mass festgelegt hat, die ihn nicht mehr als unvoreingenommen und dementsprechend das Verfahren als nicht mehr offen erscheinen lassen. Ob dies der Fall ist, kann nicht generell gesagt werden; es ist nach der Rechtsprechung vielmehr in jedem Einzelfall zu untersuchen, ob die konkret zu entscheidende Rechtsfrage trotz Vorbefassung als offen erscheint (<ref-ruling> E. 3c mit Hinweisen). Zu berücksichtigen ist, unter welchen tatsächlichen und verfahrensrechtlichen Umständen sich der Richter im früheren Zeitpunkt mit der Sache befasste bzw. sich später zu befassen hat. Von Bedeutung ist überdies, welche Fragen in den beiden Verfahrensabschnitten zu entscheiden sind und inwiefern sie sich ähnlich sind oder miteinander zusammenhängen (<ref-ruling> E. 3d [S. 59]).
b) Die Verwaltungskommission verneint einen Ausschlussgrund gemäss § 95 Abs. 1 Ziff. 3 und Abs. 2 des Gerichtsverfassungsgesetzes des Kantons Zürich vom 13. Juni 1976 (Gesetzessammlung 211. 1; GVG); ebenso einen Ablehnungsgrund gemäss § 96 Ziff. 3 und 4 GVG. Der Beschwerdeführer legt nicht in einer den Anforderungen von Art. 90 Abs. 1 lit. b OG genügenden Weise dar, inwiefern die Verwaltungskommission das kantonale Recht willkürlich ausgelegt habe.
Der angefochtene Beschluss verletzt <ref-law> nicht. Eine Vorbefassung setzt, wie dargelegt, nach der Rechtsprechung begrifflich voraus, dass sich der Richter mit der konkreten Streitsache schon einmal befasst hat (vgl.
dazu auch Regina Kiener, Richterliche Unabhängigkeit, Bern 2001, S. 144). Das ist hier nicht der Fall. Lic. iur.
Leuenberger hat sich mit dem in der Anklageschrift vom 29. September 2000 geschilderten Sachverhalt vor der Beurteilung durch die 8. Abteilung des Bezirksgerichtes nicht beschäftigt. Die Verfügung vom 6. Januar 1999, mit welcher er die Verlängerung der Ausschaffungshaft bis zum 9. März 1999 bewilligte, hatte einen anderen Gegenstand. Lic. iur.
Leuenberger prüfte dort, ob ein Haftgrund weiterhin bestehe, ob die für den Vollzug der Wegweisung notwendigen Vorkehren getroffen worden waren und ob der Vollzug der Wegweisung durchführbar sei. Er bejahte dies und verlängerte deshalb die Ausschaffungshaft. In der Anklageschrift vom 29. September 2000 wird dem Beschwerdeführer vorgeworfen, im Mai 2000 mit Kokain gehandelt zu haben, am 6. Juli 1998 trotz Landesverweisung in die Schweiz eingereist zu sein und ab dem
24. Januar 1999 nach der Entlassung aus der Ausschaffungshaft sich rechtswidrig in der Schweiz aufgehalten zu haben.
Mit allen diesen Vorwürfen hat sich lic. iur. Leuenberger in der Verfügung vom 6. Januar 1999 nicht auseinander gesetzt.
Zum Kokainhandel und zum rechtswidrigen Aufenthalt ab dem
24. Januar 1999 konnte er sich in der Verfügung vom 6. Januar 1999 im Übrigen schon deshalb nicht äussern, weil es dabei um Sachverhalte geht, die sich gemäss Anklage später verwirklicht haben.
Da lic. iur. Leuenberger mit dem Anklagesachverhalt nicht vorbefasst war, bestand keine Gefahr der Voreingenommenheit.
Zwar hat er in der Verfügung vom 6. Januar 1999 sich bereits einmal mit der Person des Beschwerdeführers befasst und zu dessen Ungunsten entschieden. Das reicht jedoch nicht aus, um die Gefahr der Voreingenommenheit zu begründen.
Dem Richter kann die Unabhängigkeit nicht abgesprochen werden, nur weil er einmal gegen den Betroffenen entschieden hat (<ref-ruling> E. 1 mit Hinweis).
In <ref-ruling> hat das Bundesgericht eine Verletzung von Art. 58 Abs. 1 aBV und Art. 6 Ziff. 1 EMRK verneint in einem Fall, in dem im Appellationsverfahren dieselben Richter des Berner Obergerichts amteten, die zuvor bereits am Entscheid der Anklagekammer im Überweisungsverfahren mitgewirkt hatten. Entscheidend war, dass es im Appellationsverfahren um eine andere Frage ging als im Überweisungsverfahren.
Der Ausgang des Appellationsverfahrens war daher durch das Überweisungsverfahren nicht vorbestimmt. Immerhin betrafen die beiden Entscheide das gleiche Strafverfahren.
Im vorliegenden Fall hatte lic. iur. Leuenberger bei der Beurteilung der Anklage nicht nur andere Fragen zu entscheiden als in der Verfügung vom 6. Januar 1999. Es handelte sich überdies um ein neues Verfahren; das Urteil des Bezirksgerichtes vom 20. Dezember 2000 und die Verfügung vom 6. Januar 1999 ergingen nicht im gleichen Strafverfahren.
Eine Verletzung von <ref-law> ist deshalb erst recht zu verneinen.
c) Die Verwaltungskommission hat im angefochtenen Beschluss die Kosten dem Vertreter des Beschwerdeführers auferlegt. Soweit sich die Beschwerde dagegen richtet, genügt sie den Begründungsanforderungen von Art. 90 Abs. 1 lit. b OG nicht. Damit kann offen bleiben, ob der Vertreter des Beschwerdeführers insoweit nicht in eigenem Namen hätte Beschwerde erheben müssen (vgl. <ref-ruling> E. 1b).
3.- Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann. Da sie aussichtslos war, kann das Gesuch um unentgeltliche Rechtspflege und Verbeiständung gemäss Art. 152 OG nicht bewilligt werden.
In Anbetracht der finanziellen Verhältnisse des Beschwerdeführers wird auf die Erhebung von Kosten verzichtet.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.- Es werden keine Kosten erhoben.
4.- Dieses Urteil wird dem Beschwerdeführer, Vizepräsident lic. iur. E. Leuenberger, 8. Abteilung des Bezirksgerichtes Zürich, der Bezirksanwaltschaft Zürich sowie dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
_
Lausanne, 29. März 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: