Verlängerung der Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben:
A.- Der aus Jugoslawien stammende A._, geb.
... .... 1956, reiste gemäss eigenen Angaben am 22. August 2001 illegal, d.h. ohne Pass und Visum, von Italien her kommend mit dem Zug in die Schweiz ein. Am 23. August 2001 wurde A._ im Zug von Olten nach Zürich angehalten, weil er ohne gültigen Fahrausweis unterwegs war. Am 27. August 2001 wies ihn die Direktion für Soziales und Sicherheit des Kantons Zürich (im Folgenden: Fremdenpolizei) aus der Schweiz weg und ordnete über ihn die Ausschaffungshaft an; mit Verfügung vom 28. August 2001 prüfte und genehmigte der Haftrichter des Bezirksgerichts Zürich die Ausschaffungshaft bis zum 24. November 2001. Die dagegen erhobene Vewaltungsgerichtsbeschwerde wies das Bundesgericht am 5. Oktober 2001 ab.
Am 19. Oktober 2001 wies der Haftrichter ein Haftentlassungsgesuch von A._ ab; auf ein weiteres Haftentlassungsgesuch trat er mit Verfügung vom 1. November 2001 nicht ein.
Mit Verfügung vom 19. November 2001 genehmigte der Haftrichter des Bezirksgerichts Zürich eine Haftverlängerung bis zum 23. Februar 2001.
B.- Dagegen hat A._ mit vom 24. November 2001 datierter Eingabe (Postaufgabe 23. November 2001) beim Bundesgericht Beschwerde erhoben. Er beantragt sinngemäss, aus der Haft entlassen zu werden.
Die Fremdenpolizei beantragt die Abweisung der Beschwerde. Der Haftrichter hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Der Beschwerdeführer hat sich nicht mehr zur Sache geäussert.

Das Bundesgericht zieht in Erwägung:
1.- Die Verwaltungsgerichtsbeschwerde hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten (Art. 108 Abs. 2 OG). Sie muss sich sachbezogen mit dem angefochtenen Entscheid auseinandersetzen (<ref-ruling> ff.). Bei Laienbeschwerden gegen die Genehmigung der Ausschaffungshaft stellt das Bundesgericht indessen keine hohen Anforderungen an die Beschwerdebegründung (vgl. <ref-ruling> E. 3b S. 277). Ist daraus ersichtlich, dass sich der Betroffene - wie hier - (zumindest auch) gegen seine Haft wendet, nimmt es entsprechende Eingaben als Verwaltungsgerichtsbeschwerden entgegen.
2.- Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen, wenn die Voraussetzungen von Art. 13b ANAG erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger, Weg- oder Ausweisungsentscheid vorliegt (vgl. <ref-ruling> E. 2a S. 61), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist. Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (<ref-ruling> E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (Art. 13c Abs. 5 lit. a ANAG; vgl. <ref-ruling> E. 3 S. 152 ff.) und die Papierbeschaffung mit dem nötigen Nachdruck verfolgt werden (Art. 13b Abs. 3 ANAG; Beschleunigungsgebot; <ref-ruling> ff.). Die Haft darf höchstens drei Monate dauern; stehen dem Vollzug der Wegweisung besondere Hindernisse entgegen, so kann die Haft mit Zustimmung der kantonalen richterlichen Behörde um höchstens sechs Monate verlängert werden (Art. 13b Abs. 2 ANAG).
3.- a) Die Fremdenpolizei des Kantons Zürich hat den Beschwerdeführer am 27. August 2001 aus der Schweiz weggewiesen.
Dem Vollzug der Wegweisung stehen besondere Hindernisse entgegen, da nach wie vor keine gültigen Reisepapiere vorliegen. Der Haftgrund der Untertauchensgefahr ist nach wie vor gegeben.
b) Die Papierbeschaffung ist seitens der Behörden mit dem nötigen Nachdruck verfolgt worden:
Mit Schreiben vom 25. September 2001 stellte die Fremdenpolizei dem Bundesamt für Flüchtlinge ein für die jugoslawischen Behörden bestimmtes Antragsformular zu und ersuchte darum, den Fall prioritär zu behandeln. Auf diesem Formular war sowohl unter der Rubrik "Geburtsort" als auch unter der Rubrik "letzter Wohnort in der Bundesrepublik Jugoslawien" die Gemeinde "B._" angeführt. Am 15. Oktober 2001 erkundigte sich die Fremdenpolizei beim Bundesamt für Flüchtlinge, ob von den jugoslawischen Behörden schon eine Antwort in Bezug auf ein Ersatzreisepapier eingetroffen sei. Mit Schreiben vom 22. Oktober 2001 machte das Bundesamt die Fremdenpolizei darauf aufmerksam, dass sich B._ nicht in der Bundesrepublik Jugoslawien, sondern in der bosnischen Föderation befinde; der Antrag auf Rückübernahme könne daher nicht an Belgrad weitergeleitet werden, vielmehr sei mit der Schweizer Vertretung in Sarajevo Kontakt aufzunehmen.
Anlässlich seiner Befragung am 25. Oktober 2001 gab A._ an, in B._-C. _ in Bosnien-Herzegowina geboren zu sein; letztmals gemeldet sei er aber in D._ in E._ gewesen, wo seine Mutter und seine Schwester lebten. Am 12. November 2001 gab das Bundesamt für Flüchtlinge der Fremdenpolizei auf telefonische Anfrage hin bekannt, bei der Schweizer Botschaft in Sarajevo seien Identitätsabklärungen hängig.
c) Es besteht kein Anzeichen dafür, dass sich die Föderation Bosnien oder die Bundesrepublik Jugsolawien einer Rückübernahme des Beschwerdeführers widersetzen würden, sobald seine Identität geklärt ist.
d) Die Verlängerung der Ausschaffungshaft erweist sich somit zur Zeit als bundesrechtskonform.
4.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten im vereinfachten Verfahren gemäss Art. 36a OG abzuweisen. Der Beschwerdeführer würde damit grundsätzlich kostenpflichtig (Art. 156 Abs. 1 OG). Es rechtfertigt sich jedoch mit Blick auf seine finanziellen Verhältnisse, von der Erhebung einer Gerichtsgebühr abzusehen (Art. 153a Abs. 1 OG).

Demnach erkennt das Bundesgericht:
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird dem Beschwerdeführer, der Direktion für Soziales und Sicherheit (Migrationsamt) des Kantons Zürich und dem Bezirksgericht Zürich (Haftrichter) sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 3. Dezember 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: