Sachverhalt: A. A.a Der aus Mazedonien stammende X._ (geb. 1988), kam als Zweijähriger im Rahmen des Familiennachzugs in die Schweiz, wo er in die Niederlassungsbewilligung seines Vaters einbezogen wurde und zusammen mit vier Schwestern bei seinen Eltern aufwuchs. Seit seinem 14. Altersjahr wurde X._ mehrfach straffällig, wobei es zu den folgenden Verurteilungen kam: mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 15. November 2002 wegen unberechtigten Verwendens eines Mofas, Führens desselben ohne Führerausweis sowie falscher Namensangabe zu einer Arbeitsleistung von einem halben Tag; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 27. Januar 2003 wegen Sachbeschädigung, begangen beim Versuch, einen Zigarettenautomaten in Brand zu setzen, zu einer Arbeitsleistung von zwei Halbtagen; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 9. Februar 2004 wegen mehrfacher Vergewaltigung und des Versuchs dazu, Diebstahls, mehrfachen geringfügigen Vermögensdelikts, mehrfachen Hausfriedensbruchs sowie Widerhandlungen gegen das Transportgesetz; Einweisung in ein Erziehungsheim und Verpflichtung, an einer Tätergruppentherapie teilzunehmen; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 24. Juni 2004 wegen räuberischer Erpressung, geringfügigen Vermögensdeliktes und Widerhandlung gegen das Betäubungsmittelgesetz; Bestätigung und Weiterführung der Heimplatzierung; mit Strafverfügung der Jugendanwaltschaft des Kantons Thurgau vom 31. Oktober 2006 wegen Diebstahls, Sachbeschädigung, Hausfriedensbruchs, Widerhandlungen gegen das Betäubungsmittelgesetz, bewaffneten Raubüberfalls, betrügerischen Missbrauchs einer Datenverarbeitungsanlage, Irreführung der Rechtspflege, versuchten in Umlaufsetzens von Falschgeld sowie Mitfahrens in einem entwendeten Lieferwagen zu einer Einschliessungsstrafe von sechs Monaten, bedingt vollziehbar bei einer Probezeit von sechs Monaten und Stellung unter Schutzaufsicht. Mit Blick auf die von X._ begangenen Sexualdelikte waren seine Eltern vom Migrationsamt des Kantons Thurgau am 15. September 2003 darauf hingewiesen worden, dass ihr Sohn bei künftiger Missachtung der Rechtsordnung mit der Ausweisung aus der Schweiz rechnen müsse. Mit Verfügung vom 10. November 2004 war X._ sodann unter Androhung der Ausweisung fremdenpolizeilich verwarnt worden. Am 28. Oktober 2005 wurde er nach rund zwei Jahren bedingt aus dem Massnahmevollzug (Erziehungsheim) entlassen. A.b Auch nach Erreichen der Volljährigkeit delinquierte X._ weiter. Mit Strafbefehl der Staatsanwaltschaft Winterthur/Unterland vom 15. Februar 2007 wurde er des mehrfachen, teilweise versuchten Diebstahls, der mehrfachen Sachbeschädigung, des mehrfachen, teilweise versuchten Hausfriedensbruchs und der mehrfachen Übertretung des Betäubungsmittelgesetzes für schuldig erklärt und zu einer unbedingten Freiheitsstrafe von 90 Tagen und einer Busse von Fr. 300.-- verurteilt. Am 3. Juni 2007 kam X._ wegen Betrugsverdachts in Untersuchungshaft. In der Folge gestand er, einem IV-Rentner mit geistiger Behinderung mit verschiedenen Scheinbegründungen zwischen September 2006 und Februar 2007 um sein gesamtes Vermögen von rund Fr. 90'000.-- gebracht zu haben. A.c Mit Entscheid vom 19. Juni 2007 wies das Migrationsamt des Kantons Thurgau X._ auf unbestimmte Zeit aus der Schweiz aus. Zur Begründung gab die Behörde an, X._ gebe seit Jahren zu schweren Klagen und strafrechtlichen Verurteilungen Anlass, u.a. wegen mehrfacher Vergewaltigung, Diebstahl und räuberischer Erpressung. Gemäss Rapport der Kantonspolizei Thurgau vom 21. Juni 2007 soll X._ am 22. April 2007 ohne Führerausweis den Wagen seines Vaters gelenkt und dabei innerorts die zulässige Höchstgeschwindigkeit von 50 km/h um 34 km/h überschritten haben, weswegen gegen ihn Anzeige wegen schwerer Verletzung der Verkehrsregeln eingereicht wurde. A.d Die gegen den Ausweisungsentscheid vom 19. Juni 2007 erhobenen Rechtsmittel an das Departement für Justiz und Sicherheit (DJS) bzw. das Verwaltungsgericht des Kantons Thurgau blieben erfolglos. Mit Urteil 2C_18/2009 vom 7. September 2009 hiess das Bundesgericht die Beschwerde von X._ hingegen gut und wies die Sache zu neuem Entscheid an das Verwaltungsgericht zurück. Das Bundesgericht erachtete es aufgrund der positiven Entwicklung seit der letzten Tatbegehung für erforderlich, die Verhältnismässigkeit der Ausweisung zu überprüfen und führte dazu in E. 2.6 Folgendes aus: "Auch lässt sich aufgrund der verhältnismässig kurzen Dauer des Wohlverhaltens bis zum Entscheid der Vorinstanz und allein gestützt auf die vorhandenen Akten eine Rückfallgefahr möglicherweise noch nicht mit der bei einer derartigen Straffälligkeit gebotenen hohen Wahrscheinlichkeit ausschliessen. Die seitherige günstige Entwicklung, welche im Vergleich zu den vergangenen Jahren eine doch massgebliche Verhaltensänderung erkennen lässt, gibt jedoch Anlass, über die Verhältnismässigkeit der verfügten Ausweisung auf der Grundlage einer erweiterten Prüfung der aktuellen Situation des Beschwerdeführers (hinsichtlich Deliktsfreiheit, Drogenabstinenz, Erwerbstätigkeit, charakterliche Entwicklung, therapeutische Fortschritte, etc.) neu zu befinden. Dabei darf auch dem Ausgang des Strafverfahrens bezüglich des Betrugsvorwurfs am IV-Rentner sowie der schweren Verkehrsregelverletzung Rechnung getragen werden. Sollte sich aufgrund dieser Überprüfung erweisen, dass Aussicht auf ein künftiges deliktfreies Leben besteht, ist von einer Ausweisung abzusehen und diese bloss (erneut) anzudrohen. Rechtfertigt auch die Berücksichtigung der aktuellen Situation keine bessere Prognose oder nimmt der Beschwerdeführer die ihm gegebenenfalls gebotene Chance nicht wahr, muss er die - diesfalls gerechtfertigte - Ausweisung nach Mazedonien in Kauf nehmen." A.e Das Verwaltungsgericht wies die Sache mit Entscheid vom 28. Oktober 2009 zur Vornahme der nötigen zusätzlichen Abklärungen an das DJS zurück. Mit Entscheid vom 18. Februar 2010 bestätigte das DJS unter Würdigung der Abklärungsergebnisse die Ausweisung von X._. Mit Strafverfügung vom 31. Mai 2010 verurteilte die Jugendanwaltschaft des Kantons Thurgau X._ wegen mehrfachen Betrugs (vgl. lit. A.b hiervor) sowie der Widerhandlung gegen das Strassenverkehrsgesetz (vgl. lit. A.c hiervor) zu einer unbedingten Freiheitsstrafe von 15 Monaten. Zudem eröffnete das Untersuchungsrichteramt des Kantons Thurgau im Frühling 2010 gegen X._ eine Strafuntersuchung wegen Raub, Diebstahl, Drohung, Nötigung und Widerhandlungen gegen das Betäubungsmittelgesetz. In diesem Zusammenhang befand sich X._ vom 3. Juni bis 28. Juni 2010 in Untersuchungshaft. Schliesslich wurde X._ mit Strafbescheid vom 11. August 2010 des Untersuchungsamtes Gossau wegen grober Verletzung der Verkehrsregeln und Fahren in fahrunfähigem Zustand zu einer bedingten Geldstrafe von 40 Tagessätzen zu je Fr. 60.--, total Fr. 2'400.-- verurteilt. A.f Die gegen den Entscheid des DJS erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Urteil vom 8. September 2010 wiederum ab. Es führte dazu aus, aufgrund der neuen Entwicklungen (im Wesentlichen Verlust der Arbeitsstelle, Einstellung der Rückzahlungen an IV-Rentner, Höhe des Straferkenntnis für Betrug bzw. SVG-Verletzung, neue Strafuntersuchung sowie neuer Strafbescheid) lasse sich keine massgebliche positive Verhaltensänderung erkennen. B. Mit Eingabe vom 15. Oktober 2010 erhebt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts vom 8. September 2010 aufzuheben, ihm die weitere Anwesenheit in der Schweiz zu gestatten und ihn stattdessen zu verwarnen. Eventualiter sei die Angelegenheit zu weiteren Abklärungen bzw. zu neuen Entscheid an die Vorinstanz zurückzuweisen. C. Das Migrationsamt, das Departement für Justiz und Sicherheit und das Verwaltungsgericht des Kantons Thurgau sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.