Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben: A.- Der aus Jugoslawien stammende A._, geb. **. ** 1956, reiste gemäss eigenen Angaben am 22. August 2001 illegal, d.h. ohne Pass und Visum, von Italien her kommend mit dem Zug in die Schweiz ein. Am 23. August 2001 wurde er im Zug von Olten nach Zürich angehalten, weil er ohne gültigen Fahrausweis unterwegs war. Am 27. August 2001 wies ihn die Direktion für Soziales und Sicherheit des Kantons Zürich (im Folgenden: Fremdenpolizei) aus der Schweiz weg und ordnete über ihn die Ausschaffungshaft an; am gleichen Tag verfügte die Fremdenpolizei, dass A._ bis zum 24. November 2001 in Haft zu bleiben habe. Mit Verfügung vom 28. August 2001 prüfte und genehmigte der Haftrichter des Bezirksgerichts Zürich die Ausschaffungshaft bis zum 24. November 2001. B.- Dagegen hat A._ mit einem teils in deutscher, teils in italienischer Sprache verfassten Schreiben vom 24. September 2001 beim Bundesgericht Beschwerde erhoben. Er beantragt, ihn aus der Haft zu entlassen und ihm die unentgeltliche Rechtspflege zu gewähren. Mit Eingabe vom 25. September 2001 hat er dem Bundesgericht ein weiteres Schreiben zugeleitet, welches einem Rubrum einer Beschwerdeschrift entspricht. Die Fremdenpolizei des Kantons Zürich beantragt die Abweisung der Beschwerde. Das Haftrichteramt des Bezirksgerichts Zürich hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat sich mit Schreiben vom 2. Oktober 2001 noch einmal zur Sache geäussert. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen.