Sachverhalt: A. X._ unterzog sich am 6. Januar 2003 im Rahmen der Behandlung eines Prostatakarzinoms einer Operation am Spital A._. Zu diesem Zeitpunkt war Dr. med. Y._ als Oberarzt im Spital A._ tätig und an der Operation sowie der Vor- und Nachbehandlung beteiligt. Am 8. März 2010 erhob X._ gestützt auf zürcherisches Haftungsrecht Klage gegen den Zweckverband "Spitalverband A._". Er wirft den beteiligten Ärzten Behandlungsfehler im Zusammenhang mit der Operation vom 6. Januar 2003 vor. Das angerufene Bezirksgericht Dietikon beschränkte zunächst das Prozessthema auf die Frage der Verjährung/Verwirkung und wies mit Urteil vom 26. Oktober 2011 die Klage infolge Verjährung des Anspruchs ab. Das Urteil ist noch nicht in Rechtskraft erwachsen. B. Am 25. August 2011 hatte Dr. med. Y._ zuvor beim Departement für Finanzen und Soziales des Kantons Thurgau (DFS) ein Gesuch um Entbindung von der ärztlichen Schweigepflicht gestellt. Er begründete dieses mit der hängigen Klage. Da er gegenwärtig Chefarzt der urologischen Klinik des Kantonsspitals B._ sei, wende er sich mit seinem Gesuch an die Behörden des Kantons Thurgau. Mit Entscheid vom 29. September 2011 hiess das DFS das Gesuch um Entbindung vom Berufsgeheimnis betreffend X._ "im Sinne der Erwägungen" gut. Dagegen erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Thurgau und machte geltend, "mangels Zuständigkeit" sei auf das Gesuch von Dr. med. Y._ nicht einzutreten. Mit Urteil vom 15. Februar 2012 wies das Verwaltungsgericht des Kantons Thurgau die Beschwerde ab. C. Mit Eingabe vom 23. April 2012 erhebt X._ Beschwerde an das Bundesgericht und beantragt die Aufhebung des angefochtenen Entscheides. Das Departement für Finanzen und Soziales sowie das Verwaltungsgericht des Kantons Thurgau beantragen die Abweisung der Beschwerde. Der Beschwerdegegner beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Mit Verfügung vom 29. Mai 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss die aufschiebende Wirkung zuerkannt.