Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben:
A.- Der aus Jugoslawien stammende A._, geb. **. ** 1956, reiste gemäss eigenen Angaben am 22. August 2001 illegal, d.h. ohne Pass und Visum, von Italien her kommend mit dem Zug in die Schweiz ein. Am 23. August 2001 wurde er im Zug von Olten nach Zürich angehalten, weil er ohne gültigen Fahrausweis unterwegs war.
Am 27. August 2001 wies ihn die Direktion für Soziales und Sicherheit des Kantons Zürich (im Folgenden: Fremdenpolizei) aus der Schweiz weg und ordnete über ihn die Ausschaffungshaft an; am gleichen Tag verfügte die Fremdenpolizei, dass A._ bis zum 24. November 2001 in Haft zu bleiben habe. Mit Verfügung vom 28. August 2001 prüfte und genehmigte der Haftrichter des Bezirksgerichts Zürich die Ausschaffungshaft bis zum 24. November 2001.
B.- Dagegen hat A._ mit einem teils in deutscher, teils in italienischer Sprache verfassten Schreiben vom 24. September 2001 beim Bundesgericht Beschwerde erhoben.
Er beantragt, ihn aus der Haft zu entlassen und ihm die unentgeltliche Rechtspflege zu gewähren. Mit Eingabe vom 25. September 2001 hat er dem Bundesgericht ein weiteres Schreiben zugeleitet, welches einem Rubrum einer Beschwerdeschrift entspricht.
Die Fremdenpolizei des Kantons Zürich beantragt die Abweisung der Beschwerde. Das Haftrichteramt des Bezirksgerichts Zürich hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat sich mit Schreiben vom 2. Oktober 2001 noch einmal zur Sache geäussert. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.- Die Verwaltungsgerichtsbeschwerde hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten (Art. 108 Abs. 2 OG). Sie muss sich sachbezogen mit dem angefochtenen Entscheid auseinandersetzen (<ref-ruling> ff.). Bei Laienbeschwerden gegen die Genehmigung der Ausschaffungshaft stellt das Bundesgericht indessen keine hohen Anforderungen an die Beschwerdebegründung (vgl. <ref-ruling> E. 3b S. 277). Ist daraus ersichtlich, dass sich der Betroffene - wie hier - (zumindest auch) gegen seine Haft wendet, nimmt es entsprechende Eingaben als Verwaltungsgerichtsbeschwerden entgegen.
2.- Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen, wenn die Voraussetzungen von Art. 13b ANAG erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger, Weg- oder Ausweisungsentscheid vorliegt (vgl. <ref-ruling> E. 2a S. 61), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist. Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (<ref-ruling> E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (Art. 13c Abs. 5 lit. a ANAG; vgl. <ref-ruling> E. 3 S. 152 ff.) und die Papierbeschaffung mit dem nötigen Nachdruck verfolgt werden (Art. 13b Abs. 3 ANAG; Beschleunigungsgebot; <ref-ruling> ff.).
3.- a) Die Fremdenpolizei hat den Beschwerdeführer am 27. August 2001 aus der Schweiz weggewiesen. Der Vollzug dieses Wegweisungsentscheides ist momentan wegen fehlender Reisepapiere noch nicht möglich; er ist aber absehbar, besteht doch kein Anhaltspunkt für einen Hinderungsgrund, der einer Ausschaffung in rechtlicher oder tatsächlicher Hinsicht entgegenstehen würde.
b) Der Haftrichter hat die Ausschaffungshaft auf Art. 13b Abs. 1 lit. c ANAG gestützt. Nach dieser Bestimmung kann ein weggewiesener Ausländer in Ausschaffungshaft genommen werden, wenn konkrete Anzeichen befürchten lassen, dass er sich der Ausschaffung entziehen will, insbesondere weil sein bisheriges Verhalten darauf schliessen lässt, dass er sich behördlichen Anordnungen widersetzt. Erforderlich sind konkrete Anhaltspunkte, dass der Ausländer sich der Ausschaffung entziehen und untertauchen will. Der Vollzug der Wegweisung muss erheblich gefährdet erscheinen. Dass der Betroffene sich illegal in der Schweiz aufhält, genügt hierfür allein ebensowenig wie die Tatsache, dass er keine Papiere besitzt und nur mangelhaft an deren Beschaffung mitwirkt.
Die Passivität des Ausländers kann jedoch, gleich wie das Fehlen eines festen Aufenthaltsortes oder die Mittellosigkeit, ein weiterer Hinweis dafür sein, dass er sich der Ausschaffung entziehen will (<ref-ruling> E. 2a S. 50 f.).
Im Gegensatz zu einem Asylsuchenden, der schon von der Natur der Sache her selten auf dem ordentlichen Weg in die Schweiz einreisen wird, hat der Beschwerdeführer keinen plausiblen Grund für seine illegale Einreise und für die Tatsache, dass er keine Papiere besitzt. Wie er am 24. August 2001 der Kantonspolizei Zürich erklärt hat, war er zudem schon 1990 ohne Visum und ohne Pass nach Italien eingereist und wohnte seither dort; auf die Frage, ob er in Italien über eine Aufenthaltsbewilligung verfügt habe, antwortete er, er habe von der Polizei ein Dokument erhalten, dieses jedoch verloren. Gemäss Polizeirapport vom selben Tag hat er zudem angegeben, er bestreite seinen Aufenthalt in Mailand mit Schwarzarbeit. Ein weiteres Indiz für die Untertauchensgefahr besteht in der Tatsache, dass der Beschwerdeführer der Fremdenpolizei gegenüber erklärt hat, er wolle nicht nach Jugoslawien zurückkehren, sondern sich wieder nach Italien begeben (vgl. Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 53/1997, S. 333). Zumindest als seltsam erscheint zudem das Verhalten des Beschwerdeführers vor dem Haftrichter, wo er sich einzig darüber beschwerte, dass jemand ihm seine Uhr gestohlen habe, jede weitere Aussage aber verweigerte. Auch wenn dieses Verhalten für sich allein keine Untertauchensgefahr begründet, lässt es zusammen mit den andern Indizien doch darauf schliessen, dass der Beschwerdeführer kaum Gewähr dafür bietet, dass er sich zu gegebener Zeit, wenn die Reisepapiere vorliegen, für den Vollzug der Ausschaffung zur Verfügung halten wird.
c) Der Beschwerdeführer bemängelt sinngemäss, dass er im Verfahren vor dem Haftrichter nicht von einem Anwalt vertreten gewesen sei. Der Beschwerdeführer hat aber im kantonalen Verfahren nicht um einen unentgeltlichen Rechtsbeistand ersucht. Ein solcher hätte ihm ohnehin nicht beigegeben werden müssen:
Gemäss bundesgerichtlicher Rechtsprechung darf einem bedürftigen Ausschaffungshäftling zumindest im Haftverlängerungsverfahren nach drei Monaten der unentgeltliche Rechtsbeistand grundsätzlich nicht verweigert werden (<ref-ruling> E. 2c/cc S. 52 f.). Im vorliegenden Verfahren, wo es um eine erstmalige Haftanordnung geht, die keine besonders komplexen Rechts- oder Sachverhaltsfragen aufgeworfen hat, durfte der Haftrichter auf die Beiordnung eines unentgeltlichen Rechtsbeistandes verzichten.
d) Die Anordnung der Ausschaffungshaft erweist sich somit als bundesrechtskonform.
4.- Der Beschwerdeführer wünscht die Ausschaffungshaft in Basel zu verbringen, weil ihn dort sein Vater, der angeblich in Deutschland wohnt und über eine Grenzkarte zu verfügen scheint, besser besuchen könne. Auf die Wahl eines bestimmten Ausschaffungsgefängnisses besteht aber kein Anspruch.
5.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten abzuweisen. Bei diesem Verfahrensausgang würde der Beschwerdeführer grundsätzlich kostenpflichtig (Art. 156 Abs. 1 OG). Es rechtfertigt sich jedoch mit Blick auf seine finanziellen Verhältnisse, von der Erhebung einer Gerichtsgebühr abzusehen (Art. 153a Abs. 1 OG). Damit wird das Gesuch um unentgeltliche Rechtspflege (Art. 152 Abs. 1 OG) gegenstandslos.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Das Gesuch um unentgeltliche Rechtspflege wird als gegenstandslos abgeschrieben.
4.- Dieses Urteil wird dem Beschwerdeführer, der Direktion für Soziales und Sicherheit (Migrationsamt) des Kantons Zürich und dem Bezirksgericht Zürich (Haftrichter) sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 5. Oktober 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: