Erwägungen:
1. X._, geb. 1968, mazedonischer Staatsangehöriger, reiste am 18. August 1984 im Familiennachzug in die Schweiz ein, wo er die Aufenthaltsbewilligung im Kanton Basel-Stadt erhielt. Im Jahre 1995 heiratete er eine italienische Staatsangehörige; die Ehe wurde 1998 wieder geschieden.
X._ wurde erstmals am 22. Oktober 1993 fremdenpolizeilich verwarnt, nachdem er wegen Hehlerei und mehrfachen Konsums von Betäubungsmitteln zu vier Monaten Gefängnis verurteilt worden war. Am 29. Juni 2000 wurde er der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz, des verbotenen Waffentragens und des mehrfachen Konsums von Betäubungsmitteln schuldig gesprochen und mit vier Monaten Gefängnis bestraft, worauf ihm die Verlängerung der Aufenthaltsbewilligung verweigert wurde. Auf Erbitten einer Drogenberatungsstelle wurde X._ am 27. August 2003 eine neue Aufenthaltsbewilligung erteilt.
Nachdem X._ in den Jahren 2001 bis 2003 bereits drei weitere Strafurteile wegen Widerhandlungen gegen das Betäubungsmittelgesetz bzw. Vergehens gegen das Waffengesetz mit Gefängnisstrafen zwischen zehn und 80 Tagen erwirkt hatte, wurde er im September 2004 der einfachen Körperverletzung, der Entwendung eines Fahrzeuges zum Gebrauch und des Fahrens trotz Entzugs des Führerausweises und in übermüdetem Zustand schuldig erklärt und mit drei Monaten Gefängnis bestraft. Zudem hatten sich die gegen ihn bestehenden Verlustscheine auf eine Summe von insgesamt Fr. 100'310.50 erhöht, weswegen er am 23. Dezember 2004 erneut fremdenpolizeilich verwarnt und ihm die Ausweisung angedroht wurde.
Mit Urteil des Strafgerichts Basel-Stadt vom 21. April 2006 wurde X._ wegen mehrfacher Hehlerei, untauglicher versuchter Hehlerei und wegen mehrfachen Konsums von Betäubungsmitteln zu drei Monaten Gefängnis verurteilt. Bis zum 10. Mai 2007 war die Summe der offenen Verlustscheine auf einen Betrag von Fr. 124'202.20 angewachsen.
Mit Verfügung vom 14. Mai 2007 wies der Bereich Bevölkerungsdienste und Migration des Sicherheitsdepartements des Kantons Basel-Stadt X._ auf unbestimmte Zeit aus der Schweiz aus und setzte ihm Frist zum Verlassen der Schweiz, was das Sicherheitsdepartement mit Entscheid vom 1. September 2008 und hernach das Appellationsgericht als Verwaltungsgericht mit Urteil vom 29. Juni 2009 bestätigte.
2. Das von X._ hiegegen am 25. September 2009 beim Bundesgericht erhobene, als "Rekurs" bezeichnete Rechtsmittel, welches als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen ist (Art. 83 lit. c Ziff. 4 BGG e contrario), erweist sich als offensichtlich unbegründet, weshalb es im vereinfachten Verfahren mit summarischer Begründung abzuweisen ist (Art. 109 BGG).
Gemäss Art. 10 Abs. 1 des vorliegend noch massgeblichen Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; vgl. Urteil 2C_745/2008 vom 24. Februar 2009, E. 1.2.2-1.2.4) kann ein Ausländer unter anderem aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (lit. a), wenn sein Verhalten im Allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen (lit. b), oder wenn er oder eine Person für die er zu sorgen hat, der öffentlichen Wohltätigkeit fortgesetzt und in erheblichem Masse zur Last fällt (lit. d). Mit der Vorinstanz ist davon auszugehen, dass bei der gegebenen Sachlage von den genannten Ausweisungsgründen jedenfalls jener von Art. 10 Abs. 1 lit. b ANAG als erfüllt angesehen werden kann.
Allerdings rechtfertigt sich die Ausweisung nach Art. 10 ANAG nur, wenn sie sich nach den gesamten Umständen als angemessen, d.h. verhältnismässig erweist (vgl. Art. 11 Abs. 3 ANAG; BGE 134 II 1 E. 2.2 S. 3; 125 II 521 E. 2 S. 523 f., je mit Hinweisen). Zu Lasten des Beschwerdeführers fällt namentlich ins Gewicht, dass er seit 1993 und seit dem Jahr 2000 praktisch ununterbrochen mit dem Gesetz in Konflikt steht und sich weder von den zahlreichen strafrechtlichen Verurteilungen noch den verhängten bzw. angedrohten fremdenpolizeilichen Massnahmen davon abhalten liess, seine deliktische Tätigkeit (worunter auch ein Gewaltdelikt) beständig fortzusetzen. Gleichzeitig akkumulierte er - unbeeindruckt von einer auch in dieser Hinsicht erfolgten Ermahnung - zusehends eine beträchtliche Schuldensumme, war in den Jahren 2006 und 2007 auf den Bezug von Sozialhilfe angewiesen und ging keiner geregelten Arbeit nach. Das Appellationsgericht hat die gegenläufigen privaten Interessen des Beschwerdeführers, der seit dem 15. Altersjahr in der Schweiz lebt, sorgfältig erhoben und dabei auch dem Umstand Rechnung getragen, dass die Delinquenz sowie die Verschuldens- und Arbeitssituation in Zusammenhang mit seiner Drogenabhängigkeit stehen. Nachdem bereits mehrere Therapieversuche aufgrund von mangelhaften Bemühungen des Beschwerdeführers gescheitert sind, besteht kein Anlass mit der Ausweisung zuzuwarten, um ihm eine angeblich in Aussicht genommene neuerliche Therapie zu ermöglichen. Vielmehr kann auf die überzeugenden Ausführungen der Vorinstanz verwiesen werden (Art. 109 Abs. 3 BGG), wonach dem volljährigen und ledigen Beschwerdeführer, welcher sich trotz langjährigem Aufenthalt nicht nachhaltig in der Schweiz zu integrieren vermochte, eine Rückkehr in sein Heimatland, welches er in den vergangenen Jahren regelmässig besuchte und wo auch sein (ebenfalls ausgewiesener) Bruder lebt, zumutbar ist.
3. Da die Beschwerde abzuweisen ist, trägt der Beschwerdeführer die bundesgerichtlichen Verfahrenskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt, dem Justiz- und Sicherheitsdepartement und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 13. April 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Moser