Sachverhalt:
A. X._ ersuchte das Departement für Finanzen und Soziales des Kantons Thurgau am 31. Mai 2011 um Auskunft, ob eine privatärztliche Niederlassung, wie er sie bisher in Deutschland praktiziert hatte, im Kanton Thurgau möglich sei. Er verfüge über ein eidgenössisch anerkanntes Arztdiplom und habe eine dreijährige Ausbildung als ärztlicher Homöopath in Deutschland abgeschlossen; eine Facharztausbildung habe er hingegen nicht absolviert. Er beabsichtige, sich im Kanton Thurgau als Arzt niederzulassen.
Der Kantonsarzt und das Departement für Finanzen und Soziales des Kantons Thurgau antworteten ihm im Folgenden, die Niederlassung als Arzt setze nicht nur eine Anerkennung einer Ausbildung als Arzt voraus, sondern auch den Erwerb eines Facharzttitels oder des Titels "Praktischer Arzt". Die Anerkennung als "Praktischer Arzt" sei entweder durch einen eidgenössischen oder aber durch einen eidgenössisch anerkannten Weiterbildungstitel möglich, z.B. gestützt auf seine bisherige Tätigkeit in Deutschland, wobei hierfür die Medizinalberufekommission (MEBEKO) zuständig sei. Eine Niederlassung als homöopathischer Arzt sei ebenso nur mit einem Facharzttitel möglich. Allenfalls könne er sich aber als Naturheilpraktiker in der Schweiz niederlassen.
X._ verzichtete auf die Einreichung eines eidgenössisch anerkannten Weiterbildungstitels ebenso wie auf die Einreichung eines Gesuchs als Naturheilpraktiker beim Departement für Finanzen und Soziales des Kantons Thurgau. Dieses wies sein Gesuch um Erteilung einer Berufsausübungsbewilligung als selbstständiger Arzt am 5. Januar 2012 ab.
B. Eine gegen diesen Entscheid erhobene Beschwerde an das Verwaltungsgericht des Kantons Thurgau blieb ohne Erfolg (Urteil vom 4. April 2012). Mit Eingabe vom 6. Juli 2012 beantragt X._ dem Bundesgericht, die Verfügung des Departements für Finanzen und Soziales des Kantons Thurgau vom 5. Januar 2012 sowie das Urteil des Verwaltungsgerichts des Kantons Thurgau seien aufzuheben; das Departement für Finanzen und Soziales sei anzuweisen, ihm eine Bewilligung als selbstständiger Arzt im Kanton Thurgau zu erteilen. Eventuell sei ihm seine Bewilligung für die selbstständige Ausübung der ärztlichen Homöopathie oder als Heilpraktiker zu beschränken, ihm eine Bewilligung zur Mitarbeit bei einem niedergelassenen ärztlichen Kollegen ohne Homöopathieausbildung zu erteilen oder es seien weitere Auflagen für die selbstständige Niederlassung zu verfügen.
X._ beantragt weiter, das Verfahren zu sistieren, um die sich stellenden Rechtsfragen dem EuGH oder dem EFTA-Gerichtshof zu unterbreiten.
Das Verwaltungsgericht des Kantons Thurgau und die Medizinalberufekommission (Eidgenössisches Departement des Innern) beantragen, die Beschwerde sei abzuweisen.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer, welcher am vorinstanzlichen Verfahren teilgenommen hat, ist durch den angefochtenen Entscheid besonders berührt und besitzt ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung, womit er zur Beschwerde legitimiert ist (Art. 89 Abs. 1 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von kantonalem Recht und von Grundrechten. Das Bundesgericht prüft solche Rügen nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287).
1.3 Nicht eingetreten werden kann auf die Beschwerde hinsichtlich der beantragten Aufhebung des unterinstanzlichen Entscheids, ist dieser doch durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt). Die Entscheide der unteren Instanzen gelten als inhaltlich mit angefochten; einzig das Urteil des Verwaltungsgerichts bildet jedoch das Anfechtungsobjekt für die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 86 Abs. 1 lit. d BGG; <ref-ruling> E. 1.4 S. 144; Urteil 2C_903/2011 vom 11. Juni 2012 E. 1.4).
2. 2.1 Der Beschwerdeführer rügt eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV). Indem die Vorinstanz seinen Antrag nicht gefolgt sei, das Verfahren auszusetzen und dem Europäischen Gerichtshof oder dem Gerichtshof der EFTA vorzulegen, ohne hierzu näher Stellung zu nehmen, habe sie ihn in diesem Antrag nicht gehört. Entgegen der Ansicht des Beschwerdeführers besteht keine vertragliche Grundlage für eine Vorlage der Streitsache an den Gerichtshof der Europäischen Union oder der EFTA, weshalb die Vorinstanz dieses Begehren in aller Kürze ablehnen durfte. Eine Verletzung des Anspruchs auf rechtliches Gehör ist nicht dargetan.
2.2 Geltend gemacht wird ebenfalls eine Verletzung der Rechte auf ein faires Verfahren. So habe die Vorinstanz für die Urteilszustellung seine Anschrift in Deutschland nicht genehmigt. Durch das Erfordernis des Weiterleitens durch den Postempfangsberechtigten sei ihm die ohnehin schon kurze Rechtsmittelfrist um weitere rund 14 Tage verkürzt worden, weshalb ihm zu wenig Zeit zur Verfügung gestanden habe, seine Beschwerde zu substanziieren. Der Beschwerdeführer hatte einer Person mit Wohnsitz in der Schweiz eine Zustellungsvollmacht ausgestellt. Es hätte dabei am Beschwerdeführer gelegen, hierzu eine Person zu bestimmen, die in der Lage gewesen wäre, das Urteil der Vorinstanz innert kürzerer Zeit weiterzuleiten. Eine unnötige Verkürzung der Rechtsmittelfrist auf wenige Tage ist der Vorinstanz daher nicht vorzuwerfen. Es liegt entgegen der Ansicht des Beschwerdeführers keine Verletzung von Art. 29 Abs. 1 BV oder Art. 6 EMRK vor.
3. Der Beschwerdeführer bringt weiter (sinngemäss) vor, die Bestimmungen über die selbstständige Erwerbstätigkeit des Freizügigkeitsabkommens zwischen der Schweiz und der EU seien verletzt; insbesondere die darin enthaltenen Rechte auf Niederlassung.
3.1 Zur Prüfung dieses Vorbringens sind vorweg die massgeblichen Rechtsgrundlagen zu bestimmen.
3.1.1 Ziel des Freizügigkeitsabkommens (Abkommen zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit vom 21. Juni 1999 [FZA]; SR 0.142.112.681) ist unter anderem die Einräumung eines Rechts auf Einreise, Aufenthalt, Zugang zu einer unselbstständigen Erwerbstätigkeit und Niederlassung als Selbstständiger (Art. 1 lit. a FZA). Gemäss Art. 9 FZA treffen die Vertragsparteien nach Anhang III die erforderlichen Massnahmen zur gegenseitigen Anerkennung der Diplome, Zeugnisse und sonstigen Befähigungsnachweise und zur Koordinierung ihrer Rechts- und Verwaltungsvorschriften über den Zugang zu unselbstständigen und selbstständigen Erwerbstätigkeiten und deren Ausübung sowie die Erbringung von Dienstleistungen. Für die Verwaltung und die ordnungsgemässe Anwendung des Freizügigkeitsabkommens ist gestützt auf Art. 14 Ziff. 1 FZA ein Gemischter Ausschuss für die gegenseitige Anerkennung von Berufsqualifikationen eingesetzt worden, der aus Vertretern der Vertragsparteien besteht.
3.1.2 Die Schweiz hat sich im vom Abkommen erfassten Bereich zur Anerkennung von Diplomen, Zeugnissen und sonstigen Befähigungsnachweisen gemäss Anhang III FZA verpflichtet. Dieser Anhang verweist in seiner aktuellen Fassung - und unter den im Beschluss 2/2011 des Gemischten Ausschusses genannten Bedingungen - auf die Richtlinie 2005/36/EG (vgl. Richtlinie 2005/36/EG des Europäischen Parlaments und des Rates vom 7. September 2005 über die Anerkennung von Berufsqualifikationen; ABl. 2005 Nr. L 255, 22 ff.; Art. 2 des Beschlusses Nr. 2/2011 des Gemischten Ausschusses für die gegenseitige Anerkennung von Berufsqualifikationen; AS 2011 4859 ff.).
3.1.3 Art. 2 FZA statuiert den Grundsatz der Nichtdiskriminierung. Demnach dürfen die Staatsangehörigen einer Vertragspartei, die sich regelmässig im Hoheitsgebiet einer anderen Vertragspartei aufhalten, bei der Anwendung dieses Abkommens gemäss den Anhängen I, II und III nicht aufgrund ihrer Staatsangehörigkeit diskriminiert werden. Wer den in einem anderen Mitgliedstaat für den betreffenden Beruf erforderlichen Befähigungs- und Ausbildungsnachweis besitzt, kann den Beruf folglich unter denselben Voraussetzungen wie Inländer aufnehmen oder ausüben (vgl. auch Art. 13 Abs. 1 der Richtlinie 2005/36/EG in der Fassung des Beschlusses 2/2011).
3.1.4 Anhang III FZA enthält keine weiteren Bestimmungen, welche die Bedingungen der Ausübung der dort anerkannten Berufsrichtungen umschreiben. Näher umschrieben werden die Voraussetzungen der Ausübung der selbstständigen Berufsausübung als Ärztin oder als Arzt dagegen im Medizinalberufegesetz (Bundesgesetz vom 23. Juni 2006 über die universitären Medizinalberufe [MedBG]; SR 811.11). Art. 36 Abs. 2 MedBG sieht vor, dass Personen, die den Arztberuf selbstständig ausüben möchten, zusätzlich zum erworbenen Diplom über einen eidgenössischen Weiterbildungstitel verfügen müssen. Ein ausländischer Weiterbildungstitel wird anerkannt, wenn seine Gleichwertigkeit mit einem Eidgenössischen Weiterbildungstitel in einem Vertrag über die gegenseitige Anerkennung mit dem betreffenden Staat - so etwa im Anhang III des FZA in Verbindung mit Anhang V der Richtlinie 2005/36/EG - vorgesehen ist und der Inhaber oder die Inhaberin eine Landessprache beherrscht (vgl. Art. 21 Abs. 1 MedBG). Ein anerkannter ausländischer Weiterbildungstitel hat in der Schweiz die gleichen Wirkungen wie der entsprechende eidgenössische Weiterbildungstitel; für die Anerkennung zuständig ist die Medizinalberufekommission (Art. 21 Abs. 2 und 3 MedBG).
3.1.5 Aus den Feststellungen der Vorinstanz geht nicht hervor, wann der Beschwerdeführer sein Gesuch eingereicht hatte. Anhang III FZA ist in der derzeit geltenden Fassung seit dem 1. November 2011 in Kraft; das Gesuch des Beschwerdeführers wurde am 5. Januar 2012 abgewiesen. Gegenüber der bisherigen Fassung des Anhangs III des FZA, der damals unter anderem auf die Richtlinie 93/16/EWG verwiesen hatte, haben sich für die hier zu klärenden Fragen keine massgeblichen Änderungen ergeben (vgl. insbesondere Art. 30 i.V.m. Art. 36 der Richtlinie 93/16/EWG des Rates vom 5. April 1993 zur Erleichterung der Freizügigkeit für Ärzte und zur gegenseitigen Anerkennung ihrer Diplome, Prüfungszeugnisse und sonstigen Befähigungsnachweise; ABl. 1993 Nr. L 165, S. 1 ff.). Das Bundesgericht beurteilt die Streitsache demnach nach dem neuen bzw. geltenden Recht.
3.2 Der Beschwerdeführer bringt vor, er habe über lange Jahre in Deutschland selbstständig praktiziert. Vor diesem Hintergrund könne die Behörde für seine Niederlassung in der Schweiz nicht einen Weiterbildungstitel als Allgemeinmediziner oder "Praktischer Arzt" verlangen; dies stelle nichts weiter als eine unzulässige Einschränkung seiner Freizügigkeitsrechte dar.
3.2.1 Der Beschwerdeführer verfügt gemäss den Feststellungen der Vorinstanz über ein in der Schweiz anerkanntes Arztdiplom. Er besitzt hingegen keinen Facharzttitel und darf sich auch in Deutschland nicht "Praktischer Arzt" nennen. Entgegen der Ansicht des Beschwerdeführers wird für die selbstständige Ausübung des Berufs auch von schweizerischen Ärztinnen und Ärzten ein Weiterbildungstitel verlangt (vgl. Art. 36 Abs. 2 MedBG). Der Beschwerdeführer unterlässt es, auf eine konkrete Ungleichbehandlung durch die kantonale Behörde hinzuweisen; eine verweigerte "Gleichbehandlung mit Schweizer Ärzten" ist nicht zu erkennen.
3.2.2 Aus den vorinstanzlichen Feststellungen geht nicht hervor, ob der Beschwerdeführer seinen Beruf als Leistungserbringer nach Krankenversicherungsgesetzgebung erbringen möchte oder nicht. Eine selbstständige Berufsausübung als Arzt erfordert gemäss Art. 36 Abs. 2 MedBG von allen in- oder ausländischen Personen einen Weiterbildungstitel, unabhängig davon, ob die ärztlichen Leistungen durch die Krankenversicherung abgerechnet werden sollen. Diesem Erfordernis stehen auch die Bestimmungen des Anhangs III des FZA nicht entgegen, welche die Anerkennung im Rahmen der Krankenversicherungsgesetzgebung regeln: Art. 29 der Richtlinie 2005/36/EG sieht vor, dass die Ausübung des ärztlichen Berufs in den Mitgliedstaaten vom Besitz eines spezifischen Ausbildungsnachweises abhängig gemacht wird; hierbei kann es sich auch um die Bezeichnung "Praktischer Arzt" oder "Facharzt für Allgemeinmedizin" handeln (vgl. Anhang V Ziffer 5.1.4 der Richtlinie 2005/36/EG in der Fassung des Beschlusses 2/2011).
Entgegen der Ansicht des Beschwerdeführers hat das Departement für Finanzen und Soziales des Kantons Thurgau auch nicht dahin gehend gegen das Freizügigkeitsabkommen verstossen, als es hätte "Übergangsbestimmungen schaffen müssen", welche eine langjährige ärztliche Tätigkeit in Deutschland für die Niederlassungsberechtigung berücksichtigten: Art. 30 Abs. 1 der Richtlinie 2005/36/EG sieht zwar spezifische Bedingungen bzw. Übergangsregelungen vor, unter welchen die Ausübung der beruflichen Tätigkeit eines Arztes mit Grundausbildung (das heisst ohne spezifische Weiterbildung) möglich ist. Der Beschwerdeführer seinerseits legt jedoch in keiner Weise dar, inwiefern er durch seine Ausbildung und bisherige berufliche Tätigkeit in Deutschland ein im Rahmen der Freizügigkeit zu anerkennendes Recht erworben haben soll, das ihm erlaubte, auch ohne spezifische Weiterbildung selbstständig praktizieren zu dürfen (Art. 30 Abs. 1 i.V.m. Ziff. 5.1.4 des Anhangs V der Richtlinie 2005/36/EG).
3.2.3 Was die fehlende Anerkennung seiner in Deutschland erworbenen Weiterbildung in ärztlicher Homöopathie betrifft, so ist im Wesentlichen auf die Ausführungen der Vorinstanz zu verweisen: Gemäss ihren unbestritten gebliebenen Feststellungen hat der Beschwerdeführer dem Departement für Finanzen und Soziales des Kantons Thurgau ausschliesslich sein (als gleichwertig anerkanntes) Ausbildungsdiplom, nicht aber den gemäss Art. 36 Abs. 2 MedBG für die selbstständige Ausübung erforderlichen Weiterbildungstitel eingereicht. Seiner in Deutschland erworbene Weiterbildung wurde somit nicht in einer unzulässigen Weise durch eine Kontrollbehörde die Anerkennung verwehrt, vielmehr hatte sich der Beschwerdeführer erst gar nicht um Anerkennung einer erworbenen Weiterbildung bemüht. Die von ihm erworbene Weiterbildung wird zudem nicht als Weiterbildungstitel in Ziffer 5.4 des Anhangs V der Richtlinie 2005/36/EG aufgeführt. Eine unzulässige Einschränkung seiner Berufsausübungsrechte durch die Kontrollbehörden ist demnach nicht dargetan. Entgegen der Ansicht des Beschwerdeführers verbietet es Anhang III des FZA im Übrigen auch nicht, den Nachweis der erforderlichen Berufsqualifikation im Sinne des Anhang V der Richtlinie 2005/36/EG durch die für die Berufsausübung zuständige Behörde, die Medizinalberufekommission, kontrollieren zu lassen (Art. 21 Abs. 3 Medizinalberufegesetz; Art. 21 Abs. 1 und 2 der Richtlinie 2005/36/EG in der Fassung des Beschlusses 2/2011; NINA GAMMENTHALER, Diplomanerkennung und Freizügigkeit, Diss., 2010, S. 221 f.).
Inwiefern das Departement für Finanzen und Soziales des Kantons Thurgau dem Beschwerdeführer schliesslich eine Bewilligung mit von ihm nicht näher spezifizierten "weitergehenden Auflagen für die selbstständige Niederlassung" hätte erteilen sollen, wird nicht dargelegt, weshalb auf dieses Vorbringen nicht eingetreten werden kann (vgl. E. 1.2).
4. Der Beschwerdeführer bringt eventualiter vor, es sei nicht einzusehen, weshalb er als anerkannter ärztlicher Homöopath in Deutschland nur unter der Auflage bei einem Schweizer Arzt praktizieren dürfte, dass dieser ebenfalls über eine homöopathische Zusatzausbildung verfüge. Auch möchte er eventuell beantragen, es sei seine Niederlassung als Heilpraktiker in der Schweiz zu verfügen.
4.1 Auf den Antrag des Beschwerdeführers, er sei als Heilpraktiker zur Berufsausübung zuzulassen, kann das Bundesgericht nicht eintreten; ein entsprechendes Begehren war vor den Vorinstanzen nicht vorgebracht worden, der Beschwerdeführer hatte sich von dieser Möglichkeit sogar ausdrücklich distanziert, sodass diese Frage nicht zum Streitgegenstand gehört (Art. 99 Abs. 2 BGG; vgl. <ref-ruling> E. 3.4 und 4.1 S. 365 ff ; <ref-ruling> E. 4.5 S. 277; Urteile 2C_333/2012 vom 5. November 2012 E. 6.1).
4.2 Demgegenüber wurde der Antrag, er sei als anerkannter ärztlicher Homöopath unter der Auflage zuzulassen, als Mitarbeiter bei einem Schweizer Arzt ohne entsprechende Ausbildung praktizieren zu dürfen, (sinngemäss) bereits vor dem Verwaltungsgericht geltend gemacht. Die Vorinstanz stellt sich auf den Standpunkt, sie hätte darüber nicht befinden können, weil der Antrag auf eine unselbstständige Tätigkeit nicht Gegenstand ihres vorinstanzlichen Verfahrens war. Der Beschwerdeführer legt seinerseits nicht dar, inwiefern sein Begehren denselben Streitgegenstand betreffen sollte wie die Erteilung einer selbstständigen Berufsausübungsbewilligung; er bringt auch nicht vor, inwiefern die Vorinstanz durch ihr Nichteintreten schweizerisches Recht (Art. 95 BGG) verletzt haben soll. Aufgrund des fehlenden Sachzusammenhangs zum Hauptbegehren konnte die Vorinstanz den Antrag daher nicht behandeln. Auch auf das zweite Eventualbegehren, das im Übrigen nicht substanziiert wird (vgl. E. 1.2), kann demnach nicht eingetreten werden (Art. 99 Abs. 2 BGG).
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann. Dem Verfahrensausgang entsprechend hat der unterliegende Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 66 BGG). Es sind keine Parteientschädigungen geschuldet (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Thurgau und der Medizinalberufekommission MEBEKO, Bundesamt für Gesundheit, schriftlich mitgeteilt.
Lausanne, 1. Februar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Hänni