Sachverhalt:
A. Der deutsche Staatsangehörige X._ geht seit Mai 2003 einer selbständigen Erwerbstätigkeit in A._/TG nach. Diese besteht im Anbieten bzw. Vermitteln von Inkasso-Dienstleistungen, wobei er sich offensichtlich auf "russisches Inkasso" bzw. auf Forderungsinkasso mit "russischen Eintreibern" spezialisiert hat.
Im Anschluss an eine Hausdurchsuchung in den Büroräumlichkeiten von X._ in A._ und dessen polizeiliche Einvernahme erhielt das Migrationsamt des Kantons Thurgau Kenntnis von diesen Aktivitäten. Es stellte fest, dass X._ über keinen gültigen Aufenthaltstitel für die Ausübung einer selbständigen Erwerbstätigkeit in der Schweiz verfügte.
Daraufhin ersuchte X._ am 11. Oktober 2006 um Erteilung einer Aufenthaltsbewilligung EG/EFTA zur Vorbereitung einer selbständigen Erwerbstätigkeit. Diese wurde ihm vom Migrationsamt mit Verfügung vom 8. Januar 2007 für eine Dauer von sechs Monaten erteilt. Im Hinblick auf den Ablauf der Bewilligung am 2. Juli 2007 beantragte X._ am 8. Juni 2007 deren Verlängerung.
Die daraufhin eingeleiteten Abklärungen des Migrationsamts brachten hervor, dass X._ mehrfach vorbestraft ist:
Mit Strafbefehl des Amtsgerichts B._ (D) vom 20. Dezember 2005 wurde er wegen eines Vergehens gegen das Waffengesetz zu einer Geldstrafe von 60 Tagessätzen zu je EUR 40.-- (insg. EUR 2'400.--) verurteilt. Grund dieser Verurteilung war, dass bei X._ anlässlich einer Hausdurchsuchung an seiner Privatadresse in B._ eine geladene und schussbereite Faustfeuerwaffe aufgefunden wurde, für deren Besitz er keine Bewilligung hatte.
Am 24. Mai 2006 wurde er vom Tribunal de Grande Instance de C._ (F) wegen Schmuggels verbotener Waren und Vergehen gegen das Waffengesetz zu einer Freiheitsstrafe von vier Monaten verurteilt. X._ anerkannte gegenüber den französischen Behörden den Vorwurf, gemeinsam mit einem Mittäter eine automatische Pistole der Marke Smith&Wesson, Modell 645, sowie Munition des Typs 9.45 mm und Kaliber 38 illegal von Spanien nach Frankreich transportiert und dort bei sich geführt zu haben.
Mit Strafverfügung vom 5. Dezember 2006 wurde X._ vom Bezirksamt A._ wegen Widerhandlung gegen fremdenpolizeiliche Vorschriften zu einer Busse von Fr. 500.-- verurteilt, da er in der Zeit von Mai 2003 bis zum 9. November 2006 ohne Bewilligung in der Schweiz einer selbständigen Erwerbstätigkeit nachgegangen ist.
Das Amtsgericht B._ verurteilte X._ am 19. September 2007 wegen versuchter räuberischer Erpressung in Tateinheit mit vorsätzlicher Körperverletzung zu einer Freiheitsstrafe von zwei Jahren. Das Gericht sah es als erwiesen an, dass er in Zusammenhang mit der Einforderung einer Geldsumme den Schuldner mit einer Kampfsporttechnik kampfunfähig machte, sein Opfer danach am Boden fixierte und die Beibringung eines Betrages von EUR 1'000.-- forderte.
Aufgrund dieser Delinquenz verweigerte das Migrationsamt mit Verfügung vom 7. Juli 2008 die Verlängerung der Aufenthaltsbewilligung EG/EFTA und wies X._ aus der Schweiz weg.
B. Hiergegen rekurrierte X._ ohne Erfolg beim Departement für Justiz und Sicherheit des Kantons Thurgau. Gegen den Rekursentscheid beschwerte er sich sodann beim Verwaltungsgericht des Kantons Thurgau. Dieses wies die Beschwerde mit Urteil vom 1. Juli 2009 ab. Das Verwaltungsgericht stützte seinen Entscheid nebst den rechtskräftigen strafrechtlichen Verurteilungen von X._ auch auf diverse gegen ihn eingereichte Strafanzeigen wegen Betruges, welche bis anhin - soweit ersichtlich - zu keinen Verurteilungen geführt haben. Ebenso wurde vom Verwaltungsgericht auf ein in der Zwischenzeit eingegangenes Rechtshilfeersuchen der Staatsanwaltschaft D._ (A) an die Bundeskriminalpolizei verwiesen: Gegenstand hiervon bildet ebenfalls ein gegenüber X._ erhobener Betrugsvorwurf.
C. Mit Eingabe vom 14. September 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Urteils und die Verlängerung seiner Aufenthaltsbewilligung EG/EFTA. Eventualiter sei die Angelegenheit zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen.
Das Verwaltungsgericht, das Migrationsamt und das Departement für Justiz und Sicherheit des Kantons Thurgau sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Als deutscher Staatsangehöriger kann sich der Beschwerdeführer auf das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (FZA; SR 0.142.112.681) berufen, welches ihm einen grundsätzlichen Anspruch auf Erteilung einer Aufenthaltsbewilligung einräumt (vgl. Art. 4 FZA; Art. 12 Abs. 1 Anhang I FZA). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde (Art. 42 und Art. 100 Abs. 1 BGG) ist daher einzutreten (unter Vorbehalt von E. 2 hiernach).
2. Gemäss <ref-law> hat der Beschwerdeführer in der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzen soll. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheides auseinandersetzt (<ref-ruling>). Hinsichtlich einer behaupteten Verletzung von Grundrechten gilt darüber hinaus eine qualifizierte Rügepflicht: Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
Der Beschwerdeführer rügt u.a. eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>): Die Vorinstanz habe seinem Beweisantrag, hinsichtlich der gegen ihn erhobenen Betrugsvorwürfe eine amtliche Erkundigung beim Bezirksamt A._ einzuholen, keine Folge geleistet.
Das Verwaltungsgericht hat den Beweisantrag des Beschwerdeführers in Erwägung 4.7 des angefochtenen Entscheids behandelt. Hierbei hat die Vorinstanz insbesondere erwogen, es sei überhaupt nicht bestritten, dass es zu keiner gerichtlichen Verurteilung wegen Betruges gekommen sei. Andere, entscheidrelevante Angaben seien von einer Anfrage beim Bezirksamt jedoch nicht zu erwarten, weshalb im Sinne einer antizipierten Beweiswürdigung darauf verzichtet werden könne.
Mit diesen Ausführungen setzt sich der Beschwerdeführer nicht ansatzweise auseinander. Er kommt mithin seiner Begründungspflicht nicht nach und vermag den Anforderungen an eine Grundrechtsrüge nicht zu genügen. In diesem Umfang ist auf die Beschwerde daher nicht einzutreten.
3. Per 1. Januar 2008 ist das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Gemäss Art. 126 Abs. 1 AuG bleibt jedoch auf Gesuche, die - wie hier - vor dem Inkrafttreten dieses Gesetzes eingereicht worden sind, das bisherige Recht anwendbar. Die Beurteilung der vorliegenden Angelegenheit richtet sich demzufolge noch nach dem Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; in Kraft gewesen bis 31. Dezember 2007). Im Anwendungsbereich des FZA hat das ANAG allerdings nur insoweit Geltung, als das FZA keine abweichende Bestimmung enthält oder das ANAG eine für den Ausländer vorteilhaftere Regelung enthält (Art. 1 lit. a ANAG), was hier gerade nicht der Fall ist.
4. Gemäss Art. 4 FZA i.V.m. Art. 12 Abs. 1 Anhang I FZA hat ein Staatsangehöriger einer Vertragspartei, der sich zwecks Ausübung einer selbstständigen Erwerbstätigkeit im Hoheitsgebiet einer anderen Vertragspartei niederlassen will, Anspruch auf Erteilung einer Aufenthaltserlaubnis mit einer Gültigkeitsdauer von mindestens fünf Jahren, sofern er den zuständigen nationalen Behörden nachweist, dass er zu diesem Zweck niedergelassen ist oder sich niederlassen will.
Wie das Verwaltungsgericht zutreffend ausgeführt hat, gilt dieser Anspruch jedoch nicht absolut. Er kann eingeschränkt werden, wenn von der ausländischen Person eine hinreichend schwere und gegenwärtige Gefährdung der öffentlichen Ordnung, Sicherheit oder Gesundheit ausgeht (vgl. Art. 5 Anhang I FZA). Auf die umfangreichen Erwägungen der Vorinstanz sowie auf die in diesem Zusammenhang ergangene bundesgerichtliche Rechtsprechung kann verwiesen werden (E. 3.3 des angefochtenen Entscheids; <ref-ruling> E. 4.1 und E. 4.2 S. 19 f.; <ref-ruling> E. 3 S. 497 ff.; <ref-ruling> E. 3.1 S. 179 f.; <ref-ruling> E. 6 und E. 7 S. 220 ff., jeweils mit Hinweisen).
5. Der Beschwerdeführer bestreitet, dass von ihm bzw. von seinem Aufenthalt in der Schweiz eine schwere gegenwärtige Gefährdung der öffentlichen Sicherheit und Ordnung ausgehe. Er bringt vor, dass er in der Schweiz kein massgebliches strafbares Verhalten an den Tag gelegt habe. Hinsichtlich der im Ausland erfolgten Verurteilungen müsse zudem beachtet werden, dass die gegen ihn am 19. September 2007 durch das Amtsgericht B._ verhängte Freiheitsstrafe von zwei Jahren zur Bewährung ausgesetzt worden sei. Zudem habe er die (unbedingt vollziehbare) Freiheitsstrafe von vier Monaten, welche das Tribunal de Grande Instance de C._ am 24. Mai 2006 gegen ihn ausgesprochen hatte, aufgrund einer Teilamnestie nur im Umfang von zweieinhalb Monaten absitzen müssen. Im Übrigen seien die ausländischen Gerichte ohnehin von einem falschen Sachverhalt ausgegangen. Der Beschwerdeführer betont sodann, dass er zu keinem Zeitpunkt in der Vergangenheit von Schusswaffen Gebrauch gemacht habe; der blosse Besitz einer solchen könne aber noch keine konkrete Gefahr für die öffentliche Sicherheit und Ordnung darstellen. Das Verwaltungsgericht habe mithin das FZA falsch angewendet und durch seinen Entscheid überdies das Willkürverbot von <ref-law> verletzt. Soweit die Vorinstanz auf die gegen ihn eingereichten Strafanzeigen wegen Betrugs hingewiesen habe, stelle dies zudem eine Verletzung der in Art. 6 Abs. 2 EMRK und <ref-law> enthaltenen Unschuldsvermutung dar.
6. Die Rügen des Beschwerdeführers überzeugen nicht:
Seine strafrechtlichen Verurteilungen lassen den Beschwerdeführer in einem ausgesprochen schlechten Licht erscheinen: Die gegen ihn verhängten Freiheitsstrafen von insgesamt zwei Jahren und vier Monaten deuten auf ein schweres Verschulden und eine erhebliche kriminelle Energie hin; dass dem Beschwerdeführer teilweise der bedingte Strafvollzug gewährt worden ist, und er die in Frankreich verbüsste Strafe gemäss eigenen Angaben nicht vollständig habe absitzen müssen, ändert daran nichts. Der rechtskräftig festgestellte Sachverhalt, wie er dem Urteil des Amtsgerichts B._ vom 19. September 2007 zugrunde lag, zeigt zudem eine erschreckende Gewaltbereitschaft des Beschwerdeführers auf. Sodann ist äusserst bedenklich, dass er sich offensichtlich nicht im Geringsten um die Waffengesetzgebung der verschiedenen Länder kümmert und sich immer wieder verbotenerweise mit Faustfeuerwaffen und entsprechender Munition ausrüstet.
Die vom Beschwerdeführer beabsichtigte Ausübung einer selbständigen Inkassotätigkeit ist unter dem Blickwinkel der öffentlichen Ordnung und Sicherheit an sich schon nicht unproblematisch: Wird eine Forderung mit Nachdruck eingefordert, besteht stets die Gefahr, dass der Inkassobeauftragte in den Bereich der strafbaren Nötigung gerät oder andere unerlaubte Zwangsmittel einsetzt. Als besonders akut erscheint diese Gefahr jedoch dann, wenn sich ein Inkassounternehmer - wie vorliegend der Beschwerdeführer - mittels Propagierung besonders aggressiver Methoden zu behaupten versucht: Auf seiner Internetseite (_; besucht am 19. April 2010) wirbt der Beschwerdeführer für seine Dienstleistungen mit dem Schlagwort "Russisches Inkasso" bzw. stellt in Aussicht, Forderungen "auf russische Art mit unserem Team aus Moskau" einzutreiben. Wie das Verwaltungsgericht richtig erkannt hat, beinhaltet diese Anpreisung eine deutliche Drohkomponente: Es soll damit offensichtlich suggeriert werden, dass vor keinem Mittel zurückgeschreckt wird, um Ausstände erhältlich zu machen. Der Beschwerdeführer verstärkt diesen Eindruck, indem er auf seiner Internetseite weiter verspricht, dass er bei Schuldnern "einen unzähmbaren Rückzahlungswunsch wecken" könne.
Vor dem Hintergrund der aufgezeigten strafrechtlichen Verurteilungen (insb. jener wegen eines Gewaltdelikts anlässlich der Einforderung eines Geldbetrages) lässt dieses Geschäftsgebaren des Beschwerdeführers ein persönliches Verhalten erkennen, welches eine weitere, erhebliche Delinquenz sehr wahrscheinlich macht und mithin eine hinreichend schwere und gegenwärtige Gefährdung der öffentlichen Ordnung und Sicherheit darstellt.
Ohne Verletzung der Unschuldsvermutung dürfen in diesem Zusammenhang auch die gegenüber dem Beschwerdeführer erhobenen Betrugsvorwürfe mitberücksichtigt werden, selbst wenn diese nicht oder zumindest noch nicht zu einer Verurteilung geführt haben: Vorliegend geht es nicht darum, dem Beschwerdeführer eine strafrechtliche Verfehlung zu unterstellen. Den Vorwürfen kommt aber insoweit eine gewisse Bedeutung zu, als sie aufzeigen, dass sich die Strafverfolgungsorgane immer wieder mit dem Beschwerdeführer und seinen Aktivitäten befassen müssen und dieser ein Verhalten an den Tag legt, das von diversen Drittpersonen - zu Recht oder zu Unrecht - als kriminell erachtet wird. Diesem Umstand darf im Rahmen der Prüfung der Deliktsprognose mit einer gewissen Zurückhaltung Rechnung getragen werden (Urteil 2C_561/2008 vom 5. November 2008 E. 5.3, mit Hinweisen).
Dass der Verlust seiner Aufenthaltsbewilligung für den Beschwerdeführer eine besondere Härte bedeuten würde und deshalb unverhältnismässig sein könnte, wird von diesem nicht behauptet und es ist dies auch nicht ersichtlich. Im Gegenteil: Anlässlich der Einvernahme durch die Kantonspolizei Thurgau am 9. November 2006 erklärte der Beschwerdeführer, dass er seine Einzelunternehmung auch in Deutschland eingetragen habe und diese noch immer beim Steueramt der Stadt B._ gemeldet sei. Dem Rubrum des Strafurteils vom 19. September 2007 kann überdies entnommen werden, dass auch der Beschwerdeführer selbst zumindest bis zu diesem Zeitpunkt noch in Deutschland Wohnsitz hatte. Mit dem Verwaltungsgericht kann demzufolge davon ausgegangen werden, dass er sich in der Schweiz weder beruflich noch privat verwurzelt hat und ihm eine Rückkehr nach Deutschland nicht schwer fallen dürfte.
Wenn die Vorinstanzen dem Beschwerdeführer bei dieser Sachlage die Verlängerung seiner Aufenthaltsbewilligung EG/EFTA verweigert haben, ist dies mithin nicht zu beanstanden. Erst recht kann keine Rede davon sein, dass das Verwaltungsgericht in Willkür verfallen wäre.
7. Nach dem Ausgeführten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Diesem Verfahrensausgang entsprechend, sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt und dem Departement für Justiz und Sicherheit des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 23. April 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler