Sachverhalt: A. Der deutsche Staatsangehörige X._ geht seit Mai 2003 einer selbständigen Erwerbstätigkeit in A._/TG nach. Diese besteht im Anbieten bzw. Vermitteln von Inkasso-Dienstleistungen, wobei er sich offensichtlich auf "russisches Inkasso" bzw. auf Forderungsinkasso mit "russischen Eintreibern" spezialisiert hat. Im Anschluss an eine Hausdurchsuchung in den Büroräumlichkeiten von X._ in A._ und dessen polizeiliche Einvernahme erhielt das Migrationsamt des Kantons Thurgau Kenntnis von diesen Aktivitäten. Es stellte fest, dass X._ über keinen gültigen Aufenthaltstitel für die Ausübung einer selbständigen Erwerbstätigkeit in der Schweiz verfügte. Daraufhin ersuchte X._ am 11. Oktober 2006 um Erteilung einer Aufenthaltsbewilligung EG/EFTA zur Vorbereitung einer selbständigen Erwerbstätigkeit. Diese wurde ihm vom Migrationsamt mit Verfügung vom 8. Januar 2007 für eine Dauer von sechs Monaten erteilt. Im Hinblick auf den Ablauf der Bewilligung am 2. Juli 2007 beantragte X._ am 8. Juni 2007 deren Verlängerung. Die daraufhin eingeleiteten Abklärungen des Migrationsamts brachten hervor, dass X._ mehrfach vorbestraft ist: Mit Strafbefehl des Amtsgerichts B._ (D) vom 20. Dezember 2005 wurde er wegen eines Vergehens gegen das Waffengesetz zu einer Geldstrafe von 60 Tagessätzen zu je EUR 40.-- (insg. EUR 2'400.--) verurteilt. Grund dieser Verurteilung war, dass bei X._ anlässlich einer Hausdurchsuchung an seiner Privatadresse in B._ eine geladene und schussbereite Faustfeuerwaffe aufgefunden wurde, für deren Besitz er keine Bewilligung hatte. Am 24. Mai 2006 wurde er vom Tribunal de Grande Instance de C._ (F) wegen Schmuggels verbotener Waren und Vergehen gegen das Waffengesetz zu einer Freiheitsstrafe von vier Monaten verurteilt. X._ anerkannte gegenüber den französischen Behörden den Vorwurf, gemeinsam mit einem Mittäter eine automatische Pistole der Marke Smith&Wesson, Modell 645, sowie Munition des Typs 9.45 mm und Kaliber 38 illegal von Spanien nach Frankreich transportiert und dort bei sich geführt zu haben. Mit Strafverfügung vom 5. Dezember 2006 wurde X._ vom Bezirksamt A._ wegen Widerhandlung gegen fremdenpolizeiliche Vorschriften zu einer Busse von Fr. 500.-- verurteilt, da er in der Zeit von Mai 2003 bis zum 9. November 2006 ohne Bewilligung in der Schweiz einer selbständigen Erwerbstätigkeit nachgegangen ist. Das Amtsgericht B._ verurteilte X._ am 19. September 2007 wegen versuchter räuberischer Erpressung in Tateinheit mit vorsätzlicher Körperverletzung zu einer Freiheitsstrafe von zwei Jahren. Das Gericht sah es als erwiesen an, dass er in Zusammenhang mit der Einforderung einer Geldsumme den Schuldner mit einer Kampfsporttechnik kampfunfähig machte, sein Opfer danach am Boden fixierte und die Beibringung eines Betrages von EUR 1'000.-- forderte. Aufgrund dieser Delinquenz verweigerte das Migrationsamt mit Verfügung vom 7. Juli 2008 die Verlängerung der Aufenthaltsbewilligung EG/EFTA und wies X._ aus der Schweiz weg. B. Hiergegen rekurrierte X._ ohne Erfolg beim Departement für Justiz und Sicherheit des Kantons Thurgau. Gegen den Rekursentscheid beschwerte er sich sodann beim Verwaltungsgericht des Kantons Thurgau. Dieses wies die Beschwerde mit Urteil vom 1. Juli 2009 ab. Das Verwaltungsgericht stützte seinen Entscheid nebst den rechtskräftigen strafrechtlichen Verurteilungen von X._ auch auf diverse gegen ihn eingereichte Strafanzeigen wegen Betruges, welche bis anhin - soweit ersichtlich - zu keinen Verurteilungen geführt haben. Ebenso wurde vom Verwaltungsgericht auf ein in der Zwischenzeit eingegangenes Rechtshilfeersuchen der Staatsanwaltschaft D._ (A) an die Bundeskriminalpolizei verwiesen: Gegenstand hiervon bildet ebenfalls ein gegenüber X._ erhobener Betrugsvorwurf. C. Mit Eingabe vom 14. September 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Urteils und die Verlängerung seiner Aufenthaltsbewilligung EG/EFTA. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Das Verwaltungsgericht, das Migrationsamt und das Departement für Justiz und Sicherheit des Kantons Thurgau sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.