Sachverhalt:
A. X._ unterzog sich am 6. Januar 2003 im Rahmen der Behandlung eines Prostatakarzinoms einer Operation am Spital A._. Zu diesem Zeitpunkt war Dr. med. Y._ als Oberarzt im Spital A._ tätig und an der Operation sowie der Vor- und Nachbehandlung beteiligt.
Am 8. März 2010 erhob X._ gestützt auf zürcherisches Haftungsrecht Klage gegen den Zweckverband "Spitalverband A._". Er wirft den beteiligten Ärzten Behandlungsfehler im Zusammenhang mit der Operation vom 6. Januar 2003 vor. Das angerufene Bezirksgericht Dietikon beschränkte zunächst das Prozessthema auf die Frage der Verjährung/Verwirkung und wies mit Urteil vom 26. Oktober 2011 die Klage infolge Verjährung des Anspruchs ab. Das Urteil ist noch nicht in Rechtskraft erwachsen.
B. Am 25. August 2011 hatte Dr. med. Y._ zuvor beim Departement für Finanzen und Soziales des Kantons Thurgau (DFS) ein Gesuch um Entbindung von der ärztlichen Schweigepflicht gestellt. Er begründete dieses mit der hängigen Klage. Da er gegenwärtig Chefarzt der urologischen Klinik des Kantonsspitals B._ sei, wende er sich mit seinem Gesuch an die Behörden des Kantons Thurgau. Mit Entscheid vom 29. September 2011 hiess das DFS das Gesuch um Entbindung vom Berufsgeheimnis betreffend X._ "im Sinne der Erwägungen" gut. Dagegen erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Thurgau und machte geltend, "mangels Zuständigkeit" sei auf das Gesuch von Dr. med. Y._ nicht einzutreten. Mit Urteil vom 15. Februar 2012 wies das Verwaltungsgericht des Kantons Thurgau die Beschwerde ab.
C. Mit Eingabe vom 23. April 2012 erhebt X._ Beschwerde an das Bundesgericht und beantragt die Aufhebung des angefochtenen Entscheides.
Das Departement für Finanzen und Soziales sowie das Verwaltungsgericht des Kantons Thurgau beantragen die Abweisung der Beschwerde. Der Beschwerdegegner beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Mit Verfügung vom 29. Mai 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 Die fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts grundsätzlich zulässig (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 und Art. 100 BGG). Es ist kein Ausschlussgrund nach <ref-law> gegeben.
1.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (<ref-law>).
Der Beschwerdeführer führt als Hauptargument an, der Kanton Thurgau habe eine "Kompetenzanmassung" vorgenommen: Nicht der Kanton Thurgau, sondern die Gesundheitsdirektion des Kantons Zürich sei zuständig für die Entbindung des Beschwerdegegners vom Berufsgeheimnis. Der Beschwerdeführer übersieht dabei, dass die Gesundheitsdirektion des Kantons Zürich mit Schreiben vom 2. September 2011 den Beschwerdegegner von der ärztlichen Schweigepflicht in Bezug auf den vorliegenden Fall entbunden hat. Damit ist mangels Rechtsschutzinteresse insoweit nicht auf die Beschwerde einzutreten, als damit geltend gemacht wird, die Gesundheitsdirektion des Kantons Zürich sei für die beantragte Entbindung zuständig (vgl. Urteil 2C_57/2010 vom 4. Dezember 2010 E. 1).
1.3 Die Beschwerde hat ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich die Beschwerde grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Beschlusses zu beantragen, sondern muss einen Antrag in der Sache stellen (<ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f.; s. allerdings auch <ref-ruling> E. 1.4.1 S. 414 f.). Der Beschwerdeführer stellt einen rein kassatorischen Antrag. Aus der Begründung der Beschwerde, die zur Interpretation des Rechtsbegehrens beigezogen werden kann, ist jedoch ersichtlich, dass es ihm darum geht, zu prüfen, ob der Kanton Thurgau den Beschwerdegegner zu Recht von der ärztlichen Schweigepflicht entbunden hat. Die Beschwerde erweist sich damit auch unter diesem Gesichtspunkt als zulässig (vgl. <ref-ruling> E. 1.3 S. 317).
2. 2.1 Welche Behörde für die Entbindung vom Amtsgeheimnis zuständig ist, ergibt sich aus dem in der Sache anwendbaren Bundesrecht bzw. kantonalen oder kommunalen Recht (vgl. Urteil 6P.22/2007 vom 21. August 2007 E. 5.10.2.3.1 mit Hinweisen). Auch nach Beendigung eines Amtsverhältnisses bleibt zwar grundsätzlich die bisherige Aufsichtsbehörde für die Entbindung vom Amtsgeheimnis zuständig (vgl. <ref-ruling> E. 1c S. 76). Die Thurgauer Behörden haben sich hier jedoch gestützt auf kantonales Recht (§ 18 des Gesetzes [des Kantons Thurgau] über das Gesundheitswesen vom 15. Juni 1985 [Gesundheitsgesetz; RB 810.1]) auf die Verschwiegenheitspflicht berufen und sich als kantonal zuständige Behörde für die Entbindung vom Berufsgeheimnis betrachtet.
2.2 Mit der Beschwerde beim Bundesgericht kann die Verletzung von Bundesrecht und Völkerrecht gerügt werden (<ref-law>). Die Verletzung kantonalen Rechts ist hingegen vor Bundesgericht - abgesehen von den Fällen gemäss Art. 95 lit. c-e BGG - kein selbstständiger Rügegrund, sondern kann nur daraufhin überprüft werden, ob damit Bundesrecht verletzt wird, wozu namentlich auch eine willkürliche Anwendung kantonalen Rechts gehört (vgl. <ref-ruling> E. 2 S. 149 f. mit Hinweisen). Das Bundesgericht prüft die Verletzung von Grundrechten (mit Einschluss des Willkürverbots) und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Da die qualifizierte Rügepflicht hier nicht eingehalten ist, besteht kein Anlass, sich näher mit den kantonalen Vorschriften über das Berufsgeheimnis auseinanderzusetzen.
Dies gilt umso mehr, als auch eine Entbindungserklärung des Kantons Zürich vorliegt (vgl. E. 1.2 hiervor), da der Beschwerdegegner in beiden Kantonen ein entsprechendes Gesuch gestellt hat. Entgegen der Behauptung des Beschwerdeführers führt eine allfällige Verletzung des rechtlichen Gehörs im Rahmen der Entbindung im Kanton Zürich auch nicht automatisch zur Nichtigkeit der Entbindungserklärung.
2.3 Als Spitalarzt fällt der Beschwerdegegner in den Anwendungsbereich von <ref-law> (Verletzung des Berufsgeheimnisses; vgl. TRECHSEL ET AL., Schweizerisches Strafgesetzbuch, 2008, Art. 321 N. 9). Ob hier zusätzlich auch - wie der Beschwerdeführer ausführt - <ref-law> (Verletzung des Amtsgeheimnisses) eine Rolle spielt, ist nicht weiter entscheidend, bildet doch Beschwerdegegenstand bloss die Entbindung vom Berufsgeheimnis wie sie der Kanton Thurgau am 29. September 2011 verfügt hat. Eine Entbindung ist in beiden Fällen möglich (vgl. Art. 320 Ziff. 2 bzw. <ref-law>).
2.4 Im Übrigen ist nicht ersichtlich, inwiefern der angefochtene Entscheid bundesrechtswidrig sein soll: Der Beschwerdegegner hat ein legitimes Interesse daran, sich bereits im Prozess gegen seinen ehemaligen Arbeitgeber gegen spätere Regressforderungen abzusichern. Im Gegenzug erscheinen die Geheimhaltungsinteressen des Beschwerdeführers eher gering. Insgesamt beruht die Abwägung zwischen den Interessen des Patienten an der Geheimhaltungspflicht und den Interessen des Arztes daran, seine Verfahrensrechte in einem Haftungsprozess genügend wahrzunehmen, auf nachvollziehbaren Überlegungen (vgl. angefochtener Entscheid E. 3). Daran vermag auch der Umstand, dass die Vorinstanz im angefochtenen Entscheid auf die Regelung der Streitverkündung gemäss ZPO (SR 272) Bezug genommen hat, obwohl es vorliegend um ein Staatshaftungsverfahren geht, nichts zu ändern. Ebenso wenig kann der Beschwerdeführer daraus, dass das Haftpflichtverfahren zur Zeit auf die Verjährungsfrage beschränkt ist, etwas zu seinen Gunsten ableiten: Die Entbindung erfolgte "im Sinne der Erwägungen", d.h. im Hinblick auf eine allfällige materielle Fortsetzung des Haftpflichtverfahrens; die Entbindung würde somit gegenstandslos, wenn die Verjährung der Ansprüche des Beschwerdeführers rechtskräftig bejaht werden sollte.
2.5 Die Entbindung des Beschwerdegegners vom Berufsgeheimnis lässt sich auch unter verfassungsrechtlichen Gesichtspunkten nicht beanstanden (vgl. Urteil 2P.206/1999 vom 19. Juli 1999 E. 3c mit Hinweisen). Insbesondere vermögen die Rügen, Art. 13, 30 und 36 BV seien verletzt, die Begründungsanforderungen von <ref-law> (vgl. E. 2.2 hievor) nicht ansatzweise zu erfüllen.
Für alles Weitere kann ergänzend auf die Ausführungen im Urteil des Verwaltungsgerichts verwiesen werden (<ref-law>).
3. Die Beschwerde erweist sich nach dem Dargelegten als offensichtlich unbegründet und ist daher im vereinfachten Verfahren nach <ref-law> mit summarischer Begründung abzuweisen, soweit darauf eingetreten werden kann.
Diesem Ausgang entsprechend hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Zudem schuldet er dem Beschwerdegegner eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat dem Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- zu bezahlen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 19. September 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger