Sachverhalt:
A. Der deutsche Staatsangehörige X._ (geb. 1948) reiste am 15. Februar 2006 in die Schweiz ein und erhielt zur Vorbereitung einer selbständigen Erwerbstätigkeit als Geschäftsführer der Y._ GmbH eine bis zum 14. August 2011 gültige Aufenthaltsbewilligung EG/EFTA.
Das Migrationsamt des Kantons Thurgau verfügte am 27. Mai 2008 - mit der Begründung, sein Verhalten in Deutschland habe zu schweren Klagen Anlass gegeben - den Widerruf der Aufenthaltsbewilligung von X._ sowie dessen Wegweisung aus der Schweiz.
Hiergegen rekurrierte X._ ohne Erfolg beim Departement für Justiz und Sicherheit des Kantons Thurgau. Gegen den Rekursentscheid beschwerte er sich sodann beim Verwaltungsgericht des Kantons Thurgau, das die Beschwerde mit Urteil vom 9. September 2009 abwies. Das Verwaltungsgericht kam zum Schluss, der angefochtene Widerruf der Aufenthaltsbewilligung erweise sich gestützt auf das Freizügigkeitsabkommen aus Gründen der öffentlichen Ordnung und Sicherheit (strafrechtliches Verhalten, wirre staatspolitische Ideen sowie wirtschaftliche Situation des Ausländers) als gerechtfertigt.
B. Mit Eingabe vom 24. Oktober 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt sinngemäss die Aufhebung des vorinstanzlichen Urteils. Zudem stellt er diverse "beweissichernde Feststellungsanträge".
C. Das Verwaltungsgericht, das Departement für Justiz und Sicherheit und das Migrationsamt des Kantons Thurgau sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
Der Beschwerdeführer hält in seiner Replik im Wesentlichen an seinen Anträgen und seiner Rechtsauffassung fest.
D. Mit Verfügung vom 2. November 2009 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Als deutscher Staatsangehöriger kann sich der Beschwerdeführer auf das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (FZA; SR 0.142.112.681) berufen, welches ihm einen grundsätzlichen Anspruch auf Erteilung einer Aufenthaltsbewilligung einräumt (vgl. Art. 4 FZA in Verbindung mit Art. 12 Abs. 1 Anhang I FZA). Auf die im Übrigen form- und fristgerecht eingereichte Beschwerde (Art. 42 und Art. 100 Abs. 1 BGG) ist daher einzutreten (unter Vorbehalt von E. 1.2 hiernach).
1.2 Gemäss <ref-law> hat der Beschwerdeführer in der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzen soll. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (<ref-ruling>). Hinsichtlich einer behaupteten Verletzung von Grundrechten gilt darüber hinaus eine qualifizierte Rügepflicht: Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
Die Beschwerdebegründung erweist sich als teilweise unklar, schwer verständlich und wirr. Sie erfüllt jedoch knapp die Eintretensvoraussetzungen, da der Beschwerdeführer sinngemäss die Verletzung von Bundesrecht und Völkerrecht rügt. Nicht einzutreten ist jedoch auf die Anträge des Beschwerdeführers, das Bundesgericht habe verschiedene "beweissichernde Feststellungen" vorzunehmen. Solche Begehren sind nur zulässig, soweit ein schutzwürdiges rechtliches oder tatsächliches Interesse dargetan wird, das nicht ebenso gut mit einem rechtsgestaltenden Begehren gewahrt werden kann (<ref-ruling> E. 2c S. 303). Vorliegend zielen die Beweisanträge, soweit sie überhaupt nachvollzogen werden können, auf eine Überprüfung und Aufhebung des angefochtenen Entscheids. Die Feststellungsanträge haben damit keine selbständige Bedeutung und erweisen sich als überflüssig.
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 400).
2. Zwar ist am 1. Januar 2008 das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Praxisgemäss bleibt indessen, in analoger Anwendung von Art. 126 Abs. 1 AuG, das bisherige Recht anwendbar, wenn - wie hier - das Verfahren (betreffend Widerruf der Aufenthaltsbewilligung) noch vor Inkrafttreten des neuen Rechts eröffnet worden ist (vgl. Urteile 2C_745/2008 vom 24. Februar 2009 E. 1.2.2-1.2.4 und 2C_701/2008 vom 26. Februar 2009 E. 2).
Die Beurteilung der vorliegenden Angelegenheit richtet sich demzufolge - entgegen der Auffassung des Verwaltungsgerichts, aber in Übereinstimmung mit dem kantonalen Migrationsamt und dem Departement für Justiz und Sicherheit - grundsätzlich noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121). Im Anwendungsbereich des FZA hat das ANAG allerdings nur insoweit Geltung, als das FZA keine abweichende Bestimmung enthält oder das ANAG eine für den Ausländer vorteilhaftere Rechtsstellung vorsieht (Art. 1 lit. a ANAG), was hier nicht der Fall ist.
3. 3.1 Die Aufenthaltsbewilligung kann gemäss Art. 9 Abs. 2 lit. b ANAG widerrufen werden, wenn eine mit ihr verbundene Bedingung nicht erfüllt wird oder wenn das Verhalten des Ausländers Anlass zu schweren Klagen gibt. Im Übrigen enthält Art. 10 Abs. 1 ANAG verschiedene Ausweisungsgründe. Damit steht zunächst fest, dass es ausserhalb des Freizügigkeitsabkommens eine Rechtsgrundlage gibt, auf der die Verweigerung eines weiteren Verbleibs des Beschwerdeführers in der Schweiz gestützt werden kann (vgl. <ref-ruling> E. 3.2 S. 181).
3.2 Gemäss Art. 4 FZA in Verbindung mit Art. 12 Abs. 1 Anhang I FZA hat ein Staatsangehöriger einer Vertragspartei, der sich zwecks Ausübung einer selbständigen Erwerbstätigkeit im Hoheitsgebiet einer anderen Vertragspartei niederlassen will, Anspruch auf Erteilung einer Aufenthaltserlaubnis mit einer Gültigkeitsdauer von mindestens fünf Jahren, sofern er den zuständigen nationalen Behörden nachweist, dass er zu diesem Zweck niedergelassen ist oder sich niederlassen will.
Dieses Recht darf gemäss Art. 5 Abs. 1 Anhang I FZA "nur durch Massnahmen, die aus Gründen der öffentlichen Ordnung, Sicherheit und Gesundheit gerechtfertigt sind, eingeschränkt werden". Nach der Rechtsprechung, welche sich an der (gemäss Art. 5 Abs. 2 Anhang I FZA hiefür massgeblich erklärten) gemeinschaftsrechtlichen Richtlinie 64/221/EWG vom 25. Februar 1964 und der diesbezüglichen Praxis des Gerichtshofes der Europäischen Gemeinschaften (EuGH) orientiert, setzen Entfernungs- oder Fernhaltemassnahmen eine hinreichend schwere und gegenwärtige Gefährdung der öffentlichen Ordnung durch den betreffenden Ausländer voraus. Eine strafrechtliche Verurteilung darf dabei nur insofern zum Anlass für eine derartige Massnahme genommen werden, als die ihr zugrunde liegenden Umstände ein persönliches Verhalten erkennen lassen, das eine gegenwärtige Gefährdung der öffentlichen Ordnung darstellt. Art. 5 Anhang I FZA steht somit Massnahmen entgegen, die (allein) aus generalpräventiven Gründen verfügt werden (vgl. <ref-ruling> E. 4.1 und E. 4.2 S. 19 f.; <ref-ruling> E. 3.4 S. 182 ff.; <ref-ruling> E. 7 S. 221 ff.; je mit Hinweisen). Während die Prognose über das künftige Wohlverhalten im Rahmen der Interessenabwägung nach rein nationalem Ausländerrecht zwar mitzuberücksichtigen, aber nicht ausschlaggebend ist, kommt es bei Art. 5 Anhang I FZA wesentlich auf das Rückfallrisiko an (<ref-ruling> E. 4.2 S. 20; <ref-ruling> E. 4.2 S. 185; je mit Hinweisen). Zu verlangen ist eine nach Art und Ausmass der möglichen Rechtsgüterverletzung zu differenzierende hinreichende Wahrscheinlichkeit, dass der Ausländer künftig die öffentliche Sicherheit und Ordnung stören wird. Je schwerer die möglichen Rechtsgüterverletzungen sind, desto niedriger sind die Anforderungen an die in Kauf zu nehmende Rückfallgefahr (<ref-ruling> E. 4.2 S. 20; <ref-ruling> E. 4.3.1 S. 186; je mit Hinweisen).
4. 4.1 Die Vorinstanz hat eine Gefährdung der öffentlichen Ordnung oder Sicherheit (im Sinne von Art. 5 Abs. 1 Anhang 1 FZA) durch den Beschwerdeführer mit dem Hinweis auf sein strafrechtliches Verhalten bejaht und dazu ausgeführt, das kantonale Migrationsamt habe zum Zeitpunkt der Bewilligungserteilung keine Kenntnis der in Deutschland begangenen Straftaten gehabt. Der Beschwerdeführer wurde in Deutschland unter anderem wegen Widerstand gegen Vollstreckungsbeamte, in Tateinheit mit vorsätzlicher Körperverletzung sowie Beleidigung, Betrug und diversen Verkehrsdelikten verurteilt. Es handelt sich um insgesamt 17 Verurteilungen im Zeitraum von 1972 bis 2007, wobei mit Ausnahme von zwei Verurteilungen (1972 zwei Monate und 1981 fünf Monate Freiheitsstrafe auf Bewährung) nur Geldstrafen ausgesprochen worden sind. Die deliktische Tätigkeit erreichte ihren Höhepunkt in den siebziger und achtziger Jahren, währenddem ab ca. 1995 im Wesentlichen noch kleinere Verkehrsdelikte (in Tatmehrheit mit Urkundenfälschung) zu verzeichnen sind.
4.1.1 Soweit der Beschwerdeführer, welcher offenbar der Überzeugung ist, das Deutsche Reich sei 1945 nicht untergegangen, vorbringt, diese Verurteilungen seien nichtig, weil die Bundesrepublik Deutschland völkerrechtlich kein existierender Staat sei, kann auf die zutreffenden Ausführungen der Vorinstanz verwiesen werden, wonach diese Argumentation als wirr und rechtlich unbeachtlich zu betrachten ist.
4.1.2 Der Beschwerdeführer macht weiter sinngemäss geltend, es sei unverhältnismässig, aufgrund von "Altlasten vor 2 - 3 Jahrzehnten" die Aufenthaltsbewilligung zu widerrufen.
In der Tat lässt sich dem angefochtenen Urteil nicht entnehmen, worin beim Beschwerdeführer die von der Praxis geforderte "gegenwärtige Gefährdung der öffentlichen Ordnung" (vgl. dazu E. 3 in fine hiervor) liegen soll. Die ausgesprochenen Freiheitsstrafen mussten nie vollzogen werden. Eine Vielzahl der Geldstrafen ist zudem auf das Führen eines Fahrzeugs mit einem "Reichsführerschein" in Deutschland zurückzuführen, den der Beschwerdeführer verwendete, da er die Existenz der Bundesrepublik Deutschland verneint (vgl. dazu auch Urteil 1C_810/2009 vom 9. Februar 2009, wonach der Entscheid des Strassenverkehrsamts des Kantons Thurgau, dem Beschwerdeführer den schweizerischen Führerausweis zu verweigern, bundesrechtskonform ist).
Die schwereren Verurteilungen des Beschwerdeführers liegen somit mehr als 30 Jahre zurück und wären - zumindest nach dem schweizerischen Recht - schon vor längerer Zeit aus dem Strafregister entfernt worden. Zu Recht führt die Vorinstanz aus, der Beschwerdeführer sei im schweizerischen Strafregister nicht verzeichnet. Dennoch kommt sie zum Schluss, aufgrund der Vortaten in Deutschland sowie eines vom Strassenverkehrsamt des Kantons Thurgau angehobenen Verfahrens müsse auf eine Uneinsichtigkeit des Beschwerdeführers geschlossen werden und dieser stelle "eine gewisse Gefahr für die hiesige öffentliche Rechtsordnung dar".
Entgegen der Würdigung der Vorinstanz hat sich der Beschwerdeführer seit einigen Jahren - spätestens aber mit seiner Einreise in die Schweiz - strafrechtlich jedoch weitgehend korrekt verhalten. Die Vorinstanz verweist denn auch nur auf eine offenbar eingestellte Strafuntersuchung gegen den Beschwerdeführer ("Rip-Deal"). Bei den länger zurückliegenden Delikten handelt es sich wie erwähnt nicht um schwerwiegende Straftaten. Seither hat der Beschwerdeführer keine Gründe mehr gesetzt, die erkennen liessen, er könnte wieder straffällig werden. Die Rückfallgefahr ist daher als nicht erheblich einzuschätzen.
4.2 Daran vermögen auch die Feststellungen der Vorinstanz, wonach Zweifel bestünden, ob der Beschwerdeführer zur Realisierung eines regelmässigen Einkommens in der Lage sei, nichts zu ändern. Soweit ersichtlich benötigt der Beschwerdeführer keine öffentlichen Unterstützungsleistungen. Es mag zwar zutreffen, dass die Vermittlungs- und Beratungstätigkeiten der Y._ GmbH letztlich etwas im Dunkeln bleiben. Der Schluss der Vorinstanz, es bestehe "eine überwiegende Wahrscheinlichkeit, dass er von der Sozialhilfe abhängig wird" kann jedoch aufgrund der Aktenlage nicht nachvollzogen werden. Der Beschwerdeführer kann offenbar - mit welchen Mitteln auch immer - sein Existenzminimum bisher decken und es liegen damit - trotz der von der Vorinstanz ins Feld geführten wirren staatspolitischen Ideen - einigermassen stabile Lebensverhältnisse vor. Angesichts dieser Umstände besteht zurzeit keine hinreichende Wahrscheinlichkeit, dass der Beschwerdeführer künftig die öffentliche Sicherheit und Ordnung stören wird. Sollte der Beschwerdeführer wegen Straftaten verurteilt werden und/oder Sozialhilfe beanspruchen, bliebe es der Migrationsbehörde unbenommen, die Situation - zum Beispiel im Zusammenhang mit der Verlängerung der im August 2011 auslaufenden Aufenthaltsbewilligung - neu zu beurteilen.
4.3 Sind damit die Voraussetzungen für die Beschränkung der Freizügigkeitsrechte des Beschwerdeführers gemäss Art. 5 Anhang I FZA nicht erfüllt, verstösst der angefochtene Entscheid gegen das Freizügigkeitsabkommen, insbesondere gegen Art. 4 FZA und Art. 12 Anhang I FZA. Damit erübrigt es sich, auf die zahlreichen weiteren Rügen, der angefochtene Entscheid verletze diverse Bestimmungen der EMRK, näher einzugehen.
5. 5.1 Die Beschwerde erweist sich als begründet und ist gutzuheissen, soweit darauf einzutreten ist. Der Entscheid des Verwaltungsgerichts vom 9. September 2009 ist aufzuheben. Das Verwaltungsgericht wird über die Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens neu zu entscheiden haben.
5.2 Bei diesem Verfahrensausgang sind keine Kosten zu erheben (<ref-law>). Der nicht anwaltlich vertretene Beschwerdeführer hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG; <ref-ruling> E. 4 S. 446 mit Hinweis).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird gutgeheissen, soweit darauf einzutreten ist, und der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 9. September 2009 wird aufgehoben.
2. Es werden keine Kosten erhoben und keine Parteientschädigung ausgerichtet.
3. Das Verwaltungsgericht des Kantons Thurgau hat über die Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens neu zu entscheiden.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 11. Juni 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Winiger