Sachverhalt: A. Der aus Mazedonien stammende X._, geb. 1988, kam als Zweijähriger im Rahmen des Familiennachzugs in die Schweiz, wo er in die Niederlassungsbewilligung seines Vaters einbezogen wurde und zusammen mit vier Schwestern bei seinen Eltern aufwuchs. Seit seinem 14. Altersjahr wurde X._ mehrfach straffällig, wobei es zu den folgenden Verurteilungen kam: mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 15. November 2002 wegen unberechtigten Verwendens eines Mofas, Führens desselben ohne Führerausweis sowie falscher Namensangabe zu einer Arbeitsleistung von einem halben Tag; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 27. Januar 2003 wegen Sachbeschädigung, begangen beim Versuch, einen Zigarettenautomaten in Brand zu setzen, zu einer Arbeitsleistung von zwei Halbtagen; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 9. Februar 2004 wegen mehrfacher Vergewaltigung und des Versuchs dazu, Diebstahls, mehrfachen geringfügigen Vermögensdelikts, mehrfachen Hausfriedensbruchs sowie Widerhandlungen gegen das Transportgesetz; Einweisung in ein Erziehungsheim und Verpflichtung, an einer Tätergruppentherapie teilzunehmen; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 24. Juni 2004 wegen räuberischer Erpressung, geringfügigen Vermögensdeliktes und Widerhandlung gegen das Betäubungsmittelgesetz; Bestätigung und Weiterführung der Heimplatzierung; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 31. Oktober 2006 wegen Diebstahls, Sachbeschädigung, Hausfriedensbruchs, Widerhandlungen gegen das Betäubungsmittelgesetz, bewaffneten Raubüberfalls, betrügerischen Missbrauchs einer Datenverarbeitungsanlage, Irreführung der Rechtspflege, versuchten in Umlaufsetzens von Falschgeld sowie Mitfahrens in einem entwendeten Lieferwagen zu einer Einschliessungsstrafe von sechs Monaten, bedingt vollziehbar bei einer Probezeit von sechs Monaten und Stellung unter Schutzaufsicht. Mit Blick auf die von X._ begangenen Sexualdelikte waren seine Eltern vom Migrationsamt des Kantons Thurgau am 15. September 2003 darauf hingewiesen worden, dass ihr Sohn bei künftiger Missachtungen der Rechtsordnung mit der Ausweisung aus der Schweiz rechnen müsse. Mit Verfügung vom 10. November 2004 war X._ sodann unter Androhung der Ausweisung fremdenpolizeilich verwarnt worden. Am 28. Oktober 2005 wurde er nach rund zwei Jahren bedingt aus dem Massnahmevollzug (Erziehungsheim) entlassen. Auch nach Erreichen der Volljährigkeit delinquierte X._ weiter. Mit Strafbefehl der Staatsanwaltschaft Winterthur/Unterland vom 15. Februar 2007 wurde er des mehrfachen, teilweise versuchten Diebstahls, der mehrfachen Sachbeschädigung, des mehrfachen, teilweise versuchten Hausfriedensbruchs und der mehrfachen Übertretung des Betäubungsmittelgesetzes für schuldig erklärt und zu einer unbedingten Freiheitsstrafe von 90 Tagen und einer Busse von Fr. 300.-- verurteilt. Am 3. Juni 2007 musste X._ wegen Betrugsverdachts in Untersuchungshaft genommen werden. In der Folge gestand er, einem IV-Rentner mit geistiger Behinderung mit verschiedenen Scheinbegründungen zwischen September 2006 und Februar 2007 um sein gesamtes Vermögen von rund Fr. 90'000.-- gebracht zu haben. B. Mit Entscheid vom 19. Juni 2007 wies das Migrationsamt des Kantons Thurgau X._ auf unbestimmte Zeit aus der Schweiz aus und wies ihn an, das Land bis zum 15. August 2007 zu verlassen. Zur Begründung gab die Behörde an, X._ gebe seit Jahren zu schweren Klagen und strafrechtlichen Verurteilungen Anlass, u.a. wegen mehrfacher Vergewaltigung, Diebstahl und räuberischer Erpressung. Gemäss Rapport der Kantonspolizei Thurgau vom 21. Juni 2007 soll X._ am 22. April 2007 ohne Führerausweis den Wagen seines Vaters gelenkt und dabei innerorts die zulässige Höchstgeschwindigkeit von 50 km/h um 34 km/h überschritten haben, weswegen gegen ihn Anzeige wegen schwerer Verletzung der Verkehrsregeln eingereicht wurde. Einen gegen den Ausweisungsentscheid vom 19. Juni 2007 erhobenen Rekurs wies das Departement für Justiz und Sicherheit (DJS) mit Entscheid vom 19. Mai 2008 ab. C. Mit Entscheid vom 12. November 2008 wies das Verwaltungsgericht des Kantons Thurgau die von X._ hiegegen eingereichte Beschwerde ab. D. Mit Eingabe vom 12. Januar 2009 erhebt X._ beim Bundesgericht Beschwerde mit den Anträgen, das Urteil des Verwaltungsgerichts vom 12. November 2008 aufzuheben, ihm die weitere Anwesenheit in der Schweiz zu gestatten und ihn stattdessen zu verwarnen. Eventualiter sei die Angelegenheit zu weiteren Abklärungen an die Vorinstanz zurückzuweisen. Das Migrationsamt und das Verwaltungsgericht des Kantons Thurgau sowie das Bundesamt für Migration schliessen übereinstimmend auf Abweisung der Beschwerde.