wird festgestellt und in Erwägung gezogen:
1.- a) Der indische Staatsangehörige S._ stellte am 9. August 2001 ein Asylgesuch in der Schweiz. Am 16. September 2001 wurde er wegen Erwerbs und Konsums von Haschisch und Kokain verzeigt und am 4. Dezember 2001 wegen des Verdachts des Handels mit Kokain verhaftet. Mit Strafbefehl vom 6. Dezember 2001 verurteilte ihn die Bezirksanwaltschaft Winterthur in der Folge wegen mehrfacher Widerhandlung gegen das Betäubungsmittelgesetz zu drei Monaten Gefängnis bei bedingtem Strafvollzug. Nachdem S._ dem Migrationsamt des Kantons Zürich zugeführt worden war, ordnete dieses am 7. Dezember die Vorbereitungshaft an. Die Haftrichterin am Bezirksgericht Zürich prüfte und bestätigte die Haft am 10. Dezember 2001 bis zum 5. März 2002.
Am 29. Dezember 2001 stellte S._ ein Haftentlassungsgesuch, auf welches der Haftrichter des Bezirksgerichts Zürich mit Verfügung vom gleichen Tag nicht eintrat, weil seit der richterlichen Haftüberprüfung noch nicht ein Monat verstrichen war (vgl. Art. 13c Abs. 4 ANAG).
b) Mit handschriftlichem Schreiben in englischer Sprache vom 3. Januar 2002 gelangte S._ an das Migrationsamt des Kantons Zürich und ersuchte erneut um Haftentlassung; das Amt leitete das Schreiben am 7. Januar 2002 zuständigkeitshalber an das Bundesgericht weiter. In der Folge eröffnete der Präsident der II. öffentlichrechtlichen Abteilung des Bundesgerichts ein Verfahren der Verwaltungsgerichtsbeschwerde; dieses hat vorab die Haftbestätigungsverfügung vom 10. Dezember 2001 zum Gegenstand, war doch die entsprechende Beschwerdefrist von 30 Tagen (vgl. Art. 106 OG) beim Versand des Schreibens von S._ noch nicht abgelaufen.
Soweit sich die Eingabe allenfalls auch gegen den Entscheid vom 29. Dezember 2001 über das Nichteintreten auf das Haftentlassungsgesuch richten sollte, wäre sie ohnehin von vornherein untauglich, hält doch dieser Entscheid angesichts des eindeutigen Wortlauts von Art. 13c Abs. 4 ANAG klarerweise vor Bundesrecht stand.
Der Haftrichter am Bezirksgericht Zürich hat auf eine Vernehmlassung verzichtet. Das Migrationsamt des Kantons Zürich schliesst auf Abweisung der Beschwerde. S._ nahm die Gelegenheit nicht wahr, sich nochmals zur Sache zu äussern. Das Bundesamt für Ausländerfragen hat innert Frist keine Stellungnahme eingereicht.
2.- a) Um die Durchführung eines Wegweisungsverfahrens sicherzustellen, kann die zuständige kantonale Behörde nach Art. 13a ANAG einen Ausländer, der keine Aufenthalts- oder Niederlassungsbewilligung besitzt, während der Vorbereitung des Entscheides über seine Aufenhaltsberechtigung unter bestimmten Voraussetzungen für höchstens drei Monate in Haft nehmen. Dies trifft unter anderem zu, wenn der Ausländer Personen ernsthaft bedroht oder an Leib und Leben erheblich gefährdet und deshalb strafrechtlich verfolgt wird oder verurteilt worden ist (Art. 13a lit. e ANAG).
Diesen Haftgrund erfüllt gemäss der bundesgerichtlichen Rechtsprechung auch der Kleindealer, welcher jeweilen nur mit einer kleinen Menge Drogen zirkuliert, um im Fall, dass er aufgegriffen wird, wirksamen strafrechtlichen Sanktionen zu entgehen, obwohl er insgesamt durch mehrere Gänge innert kurzer Zeit bedeutende Mengen an Betäubungsmitteln in Umlauf bringen kann (so genannter "Ameisendealer"; vgl. <ref-ruling> E. 3b/bb S. 375 f., mit Hinweisen; bestätigt mit Urteil vom 10. Februar 2000 i.S. S.; 2A.35/2000). Der Beschwerdeführer wurde wegen Handels mit täglich rund 10 Portionen à 0,1 Gramm Kokain-Gemisch ("Kugeln") während etwa 30 Tagen, insgesamt mit rund 300 Portionen im Reinheitsgehalt von durchschnittlich ca. 20 %, strafrechtlich verurteilt.
Damit erweist sich der Haftgrund von Art. 13a lit. e ANAG als gegeben.
b) Nachdem auch keine anderen Gründe für die Unzulässigkeit der Vorbereitungshaft ersichtlich sind oder vom Beschwerdeführer geltend gemacht werden, verstösst diese offensichtlich nicht gegen Bundesrecht.
3.- a) Demnach ist die Verwaltungsgerichtsbeschwerde im vereinfachten Verfahren nach Art. 36a OG abzuweisen.
b) Bei diesem Verfahrensausgang würde der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 OG). Es rechtfertigt sich jedoch mit Blick auf seine finanziellen Verhältnisse, von der Erhebung einer Gerichtsgebühr abzusehen (Art. 153a Abs. 1 OG).
c) Das Migrationsamt des Kantons Zürich wird ersucht, sicherzustellen, dass das vorliegende Urteil dem Beschwerdeführer korrekt eröffnet und verständlich gemacht wird.

Demnach erkennt das Bundesgericht
im vereinfachten Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Bezirksgericht des Kantons Zürich sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 17. Januar 2002
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: