Sachverhalt:
A. Dr. med. X._ verfügt seit November 1985 über eine Berufsausübungsbewilligung als Arzt im Kanton Thurgau. Seit Juli 1999 leistet er keinen Notfalldienst mehr. Das Departement für Finanzen und Soziales des Kantons Thurgau befreite ihn mit Entscheid vom 3. August 2005 formell von der Pflicht zur Beteiligung am ärztlichen Notfalldienst. Im Anschluss an eine Rechtsänderung ersuchte X._ die Notfallkommission der Ärztegesellschaft des Kantons Thurgau, von der Befreiung vom 3. August 2005 Vormerk zu nehmen. Die Notfallkommission bestätigte am 12. bzw. 13. Januar 2009 die Befreiung vom Notfalldienst. Gleichzeitig auferlegte sie ihm aber eine "Ersatzabgabe 2009" in Höhe von Fr. 3'000.--. Gegen diese gelangte X._ erfolglos an den Vorstand der Ärztegesellschaft, das Thurgauer Departement für Finanzen und Soziales sowie schliesslich an das Verwaltungsgericht des Kantons Thurgau.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 19. Oktober 2010 beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts vom 14. Juli 2010 aufzuheben.
Die Ärztegesellschaft und das kantonale Departement für Finanzen und Soziales beantragen die Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf überhaupt eingetreten werden könne. Das zur Vernehmlassung eingeladene Eidgenössische Departement des Innern hat auf eine Stellungnahme verzichtet.

Erwägungen:
1. Das Verwaltungsgericht ist der Auffassung, die Forderung der Ersatzabgabe gegenüber dem Beschwerdeführer sei zivilrechtlicher Natur. Somit sei die Beschwerde in Zivilsachen nach <ref-law> das richtige Rechtsmittel vor Bundesgericht. Da der Streitwert jedoch weniger als Fr. 30'000.-- betrage, erweise sich die Beschwerde gemäss <ref-law> als unzulässig.
Wie im Folgenden aufgezeigt wird (E. 2 hienach), ist vorliegend eine Beschwerde gegen einen Entscheid in Angelegenheiten des öffentlichen Rechts im Sinne von <ref-law> zu beurteilen. Daher ist entgegen der Auffassung der Vorinstanz die Beschwerde in öffentlich-rechtlichen Angelegenheiten das richtige Rechtsmittel. Insoweit kommt es hier auch nicht auf die Höhe des Streitwertes an (vgl. <ref-law>). Der interessierende Streitgegenstand - die Pflicht zur Leistung einer Ersatzabgabe bei Befreiung vom Notfalldienst - wird zudem nicht von der Ausschlussbestimmung des <ref-law> erfasst. Insbesondere geht es nicht um einen Entscheid auf dem Gebiet des Militär-, Zivil- oder Zivilschutzdienstes gemäss <ref-law> (vgl. Hansjörg Seiler, in: Bundesgerichtsgesetz, Seiler/von Werdt/Güngerich [Hrsg.], 2007, N. 71 zu <ref-law>; Thomas Häberli, in: Basler Kommentar zum Bundesgerichtsgesetz, 2. Aufl. 2011, N. 183 und 185 zu <ref-law>; Alain Wurzburger, in: Commentaire de la LTF, Corboz et al. [Hrsg.], 2009, N. 110 und 113 zu <ref-law>).
2. 2.1 Das Verwaltungsgericht gelangt zum Schluss, der Beschwerdeführer schulde als Mitglied der Ärztegesellschaft privatrechtlich die von ihr geforderte Ersatzabgabe. Denn die Pflicht zur Zahlung sowie die Höhe dieses Betrages ergebe sich aus dem Notfalldienstreglement, das durch einen Beschluss der Ärztegesellschaft für ihre Mitglieder verbindlich erklärt worden sei. Der Beschwerdeführer habe nicht geltend gemacht, der erwähnte Beschluss sei unrechtmässig zustande gekommen. Wie es sich verhalten hätte, wenn der Beschwerdeführer nicht Mitglied der Ärztegesellschaft gewesen wäre, liess das Gericht ausdrücklich offen.
Hiegegen wendet der Beschwerdeführer ein, dass es sich bei der geforderten Ersatzabgabe nicht um eine privatrechtliche Schuld handle. Sie bilde nicht Gegenstand einer vertraglichen Vereinbarung, sondern sei in einem Reglement vorgesehen, das sich auf das Thurgauer Gesundheitsgesetz stütze und vom kantonalen Departement genehmigt worden sei. Zudem solle dieses Reglement sowohl für Mitglieder als auch für Nichtmitglieder der Ärztegesellschaft gelten. Werden Mitglieder und Nichtmitglieder dann aber unterschiedlich behandelt, laufe das auf eine rechtsungleiche Behandlung hinaus. Die interessierende Forderung sei daher als öffentlich-rechtliche Abgabe zu qualifizieren. Insoweit werde jedoch das Legalitätsprinzip verletzt, denn die Bemessungsgrundlage sei nicht auch nur ansatzweise in einem Gesetz festgelegt worden.
2.2 Für die Abgrenzung von Privatrecht und öffentlichem Recht hat die Lehre mehrere Methoden entwickelt. Es wird insbesondere unterschieden, ob die anwendbaren Rechtssätze ausschliesslich oder vorwiegend private oder öffentliche Interessen wahrnehmen (Interessentheorie), die Erfüllung öffentlicher Aufgaben oder die Ausübung einer öffentlichen Tätigkeit regeln (Funktionstheorie) oder den Staat gegenüber dem Privaten als übergeordneten Träger von Hoheitsrechten erscheinen lassen (Subordinationstheorie). Das Bundesgericht nimmt die Abgrenzung gestützt auf verschiedene Methoden vor, wobei keiner zum Vornherein ein Vorrang zukommt. Vielmehr prüft es in jedem Einzelfall, welches Abgrenzungskriterium den konkreten Gegebenheiten am besten gerecht wird. Damit trägt es dem Umstand Rechnung, dass der Unterscheidung zwischen privatem und öffentlichem Recht ganz verschiedene Funktionen zukommen, die sich nicht mit einem einzigen theoretischen Unterscheidungsmerkmal erfassen lassen (vgl. BGE 2C_561/2010 vom 28. Juli 2011 E. 1.1; <ref-ruling> E. 4.4.2 S. 307; <ref-ruling> E. 2a S. 253; <ref-ruling> E. 2c/bb S. 436; <ref-ruling> E. 1b S. 414, mit Hinweisen).
2.3 Der ärztliche Notfalldienst war in der Schweiz ursprünglich der privaten Initiative überlassen. Er wurde als ein Kerngebiet und eine Kernkompetenz der hausärztlichen Tätigkeit angesehen (vgl. Bericht der Schweizerischen Konferenz der kantonalen Gesundheitsdirektorinnen und -direktoren [GDK] vom 23. Oktober 2008, Reorganisation ärztlicher Notfalldienst, S. 9 Ziff. 3 in fine). Für die Organisation eines Notfall- bzw. Bereitschaftsdienstes sorgten meist die Standesvereinigungen, wobei sie ihre Mitglieder regelmässig in die Pflicht nahmen. Teilweise sorgten auch private Unternehmen an Stelle der frei praktizierenden Ärzte oder in Konkurrenz zu ihnen für Notfalldienste. Es wurde dabei nicht als nötig betrachtet, dass der Staat eingreift. Dementsprechend hatten der Bund bzw. die (meisten) Kantone denn auch keine Kompetenzen delegiert oder sonst wie über den Notfalldienst legiferiert. Sie überliessen es den Ärzten und ihren Standesvereinigungen, den Notfalldienst als ihre eigene Aufgabe zu behandeln. Letztere regelten zumeist in ihren Standesreglementen den Notfalldienst für ihre Mitglieder (zu alledem: Sprumont/Perrenoud, Organisation des services de garde dans le canton de Genève, in: Schweizerische Zeitschrift für Gesundheitsrecht, Heft 7/2005 S. 21 und 24 f.). Dementsprechend war der Literatur zufolge unklar, ob der Notfalldienst überhaupt eine öffentliche Aufgabe darstelle (vgl. Poledna/Stoll, Ärztlicher Notfalldienst: Pflicht oder Recht des Arztes?, AJP 2005 S. 1367).
Der Notfalldienst wurde lange Zeit von den Ärzten teilweise als zusätzliche Einnahmequelle und als Möglichkeit zur Vergrösserung des Patientenkreises angesehen (vgl. Poledna/Stoll, a.a.O., AJP 2005 S. 1367). Diese Gesichtspunkte sind aufgrund diverser Veränderungen namentlich bei der Tarifierung und Zulassung neuer Ärzte allmählich in den Hintergrund getreten. Der Notfalldienst wird von den Ärzten zunehmend als Last empfunden, weshalb auch ihr Interesse an der Leistung von Notfalldienst zurückgegangen ist (näher dazu Schlussbericht der GDK vom 26. Oktober 2006, Notfalldienst: Massnahmen und Empfehlungen, insb. S. 3 f. Ziff. 2.3; Bericht der GDK vom 20. Juli 2006, Notfalldienst, Zur aktuellen Situation des ambulanten ärztlichen Notfalldienstes und Vorschläge zur zukünftigen Organisation, S. 2 und 5 f. Ziff. 1 und 3.1.6). Zudem traten gelegentlich Unstimmigkeiten zwischen privaten Unternehmen, die Notfalldienste anboten, und den frei praktizierenden Ärzten bzw. ihren Berufsvereinigungen auf (Sprumont/Perrenoud, a.a.O., S. 21).
2.4 Das am 1. September 2007 in Kraft getretene und gestützt auf <ref-law> erlassene Bundesgesetz vom 23. Juni 2006 über die universitären Medizinalberufe (Medizinalberufegesetz, MedBG; SR 811.11), zu denen der Beruf des Arztes zu zählen ist (vgl. <ref-law>), formuliert in seinem Art. 40 diverse Berufspflichten. Unter anderem leisten danach Personen, die einen universitären Medizinalberuf selbständig ausüben, in dringenden Fällen Beistand und wirken nach Massgabe der kantonalen Vorschriften in Notfalldiensten mit (<ref-law>). Mit der erstgenannten Pflicht zum Beistand ist die Hilfe in konkreten Notsituationen gemeint. Darum geht es hier nicht, sondern um die weitere Pflicht, an Notfalldiensten teilzunehmen. Hierdurch soll die medizinische Versorgung der Bevölkerung ausserhalb der üblichen Sprechstunden sichergestellt werden, wobei der Notfalldienst regelmässig der keinen Aufschub duldenden Behandlung von Erkrankungen dient (vgl. Walter Fellmann, in: Das neue Medizinalberufegesetz, Schaffhauser/Kieser/Poledna [Hrsg.], 2008, S. 114-116; ders., in: Medizinalberufegesetz Kommentar, Ayer et al. [Hrsg.], 2009, N. 143 ff. zu <ref-law> [D]; Sprumont/Guinchard/Schorno, in: ebenda, N. 79 ff. zu <ref-law> [F]; Boris Etter, Medizinalberufegesetz, Stämpflis Handkommentar, 2006, N. 40 ff. zu <ref-law>; Poledna/ Stoll, a.a.O., AJP 2005 S. 1367 f.). Der Notfalldienst schliesst einen Präsenz- bzw. Bereitschaftsdienst ein, wonach der betreffende Arzt auch dann verfügbar sein muss, wenn gerade keine Patienten zu behandeln sind.
Der Botschaft zu <ref-law> zufolge wurden mit dieser Bestimmung neu einheitliche und abschliessende Berufspflichten verankert. Diese würden sich von den Standesregeln unterscheiden. Die Berufspflichten werden von einer Behörde erlassen und gelten für alle selbständig tätigen Medizinalpersonen. Im Gegensatz dazu seien die von Berufsorganisationen erlassenen Standesregeln nur für die Mitglieder der betreffenden Berufsorganisation direkt anwendbar (Botschaft vom 3. Dezember 2004 in BBl 2005 228 zu Art. 40).
2.5 Das Gesetz des Kantons Thurgau vom 5. Juni 1985 über das Gesundheitswesen (Gesundheitsgesetz, GesG/TG; RB 810.1) wiederholt die bereits in <ref-law> statuierte Beistandspflicht für Ärzte und andere Medizinalberufe in seinem § 23, während es den Notfalldienst in § 23a GesG/TG - in der Fassung vom 21. November 2007, in Kraft seit 1. April 2008 - wie folgt regelt:
"1 Die kantonalen Standesorganisationen der Ärzte, Zahnärzte, Apotheker und Tierärzte haben für eine zweckmässige Organisation des Notfalldienstes zu sorgen.
2 Ärzte, Zahnärzte, Apotheker und Tierärzte mit Bewilligung zur selbständigen oder unselbständigen Berufsausübung sind unabhängig von ihrer persönlichen Mitgliedschaft zur Beteiligung am Notfalldienst ihrer kantonalen Standesorganisation verpflichtet. Wer Notfalldienst leistet, hat den Aufenthaltsort während dieser Zeit so zu wählen, dass der Notfalldienst gewährleistet ist.
3 Die Standesorganisationen regeln die sich aus dem Notfalldienst ergebenden Rechte und Pflichten. Sie können vom Notfalldienst entbinden und sowohl Mitglieder als auch Nichtmitglieder bei einer Entbindung zu zweckgebundenen Ersatzabgaben verpflichten.
4 Entscheide der Standesorganisationen über die Entbindung von der Notfalldienstpflicht und die Leistung von Ersatzabgaben können beim zuständigen Departement mit Rekurs angefochten werden.
5 Der Regierungsrat und die Standesorganisationen können miteinander Leistungsvereinbarungen über den Notfalldienst abschliessen."
Mit dieser Bestimmung sieht der Thurgauer Gesetzgeber über <ref-law> hinaus die Verpflichtung zur Beteiligung am Notfalldienst nicht nur für selbständige Ärzte, sondern auch für unselbständige Ärzte vor. Bei der Formulierung von § 23a GesG/TG ging der Thurgauer Gesetzgeber davon aus, dass beim Notfalldienst ein Engpass drohen könnte, weil immer weniger Ärzte daran teilnehmen. Mit den Detailausführungen wollte er diesem Umstand entgegenwirken. Dabei ging er davon aus, dass die Bevölkerung auf einen gut funktionierenden Notfalldienst angewiesen sei und dieser einen wesentlichen Teil der Grundversorgung darstelle. Deshalb wollte er den Standesorganisationen einen entsprechenden Leistungsauftrag erteilen. Dazu sollten Letztere aber auch eine "gesetzliche Handhabe" bekommen, namentlich für den Fall, dass ein Arzt oder Apotheker keinen Notfalldienst leiste und auch nicht bereit sei, eine Ersatzabgabe zu bezahlen. Es sei festgestellt worden, dass immer mehr dispensierte Ärzte die Entrichtung der Ersatzabgabe verweigerten. Zudem sollten neuerdings auch Nichtmitglieder der Ärztegesellschaft zur Teilnahme am Notfalldienst verpflichtet werden. Der kantonale Gesetzgeber erklärte dabei, er übertrage den Standesorganisationen die Kompetenz, sowohl Mitglieder als auch Nichtmitglieder vom Notfalldienst zu dispensieren und zu einer zweckgebundenen Ersatzabgabe zu verpflichten. Insoweit sollten Entscheide der Standesorganisationen neuerdings beim zuständigen Departement mit Rekurs angefochten werden können (Protokolle des Grossen Rates Thurgau Nr. 64 vom 24. Oktober 2007, S. 11 ff., und Nr. 65 vom 7. November 2007, S. 7).
2.6 Zwar ist nicht schon allein deshalb auf den öffentlich-rechtlichen Charakter zu schliessen, weil der kantonale Gesetzgeber den Rechtsweg an das Departement und das Verwaltungsgericht und nicht an die Zivilgerichte vorgesehen hat (vgl. erwähnter BGE 2C_561/2010 E. 1.8 sowie Urteil des Bundesgerichts 2C_58/2009 vom 4. Februar 2010 E. 1.4). Dabei handelt es sich um ein Indiz für den öffentlich-rechtlichen Charakter der zu beurteilenden Massnahme. Es müssen aber noch andere Aspekte hinzutreten.
Gemäss § 68 Abs. 3 der Verfassung des Kantons Thurgau vom 16. März 1987 (KV/TG; SR 131.228) und § 4 Abs. 1 GesG/TG ist der Kanton für eine ausreichende medizinische Versorgung der Bevölkerung besorgt. Die Einrichtung eines Notfalldienstes der Ärzte dient dem öffentlichen Interesse an der Gewährleistung der Gesundheit der Bevölkerung. Neben einer ortsnahen Versorgung soll sie auch die Notfallstationen der Spitäler entlasten, wodurch diese insbesondere für schwer wiegende Fälle frei gehalten werden. Insoweit sieht der kantonale Gesetzgeber den Notfalldienst heute als öffentliche Aufgabe an (vgl. das erwähnte Protokoll des Grossen Rates Thurgau Nr. 64 vom 24. Oktober 2007, S. 11 ff.; Sprumont/Perrenoud, a.a.O., S. 28 f.; Gächter/Tremp, Arzt und seine Grundrechte, in: Arztrecht in der Praxis, Kuhn/Poledna [Hrsg.], 2. Aufl. 2007, S. 34; Poledna/Stoll, a.a.O., AJP 2005 S. 1372). Er hat denn auch alle Ärzte mit Bewilligung zur selbständigen oder unselbständigen Berufsausübung zum Notfalldienst verpflichtet. Wohl hat er darauf verzichtet, die Organisation des Notfalldienstes einer kantonalen Behörde zu übertragen. Stattdessen hat er damit die kantonale Ärztegesellschaft beauftragt (vgl. § 23a Abs. 1 GesG/TG i.V.m. § 47 Abs. 4 KV/TG). Diesem Auftrag entsprechend hat die Ärztegesellschaft aber die Pflicht zu handeln. Es steht ihr nicht frei, untätig zu bleiben und die Organisation des Notfalldienstes bloss der Eigeninitiative von Ärzten oder privaten Unternehmen zu überlassen. Zudem hat sie kraft der gesetzlichen Delegation den Notfalldienst sowohl in Bezug auf Mitglieder als auch auf Nichtmitglieder zu regeln (§ 23a Abs 2 und 3 Satz 1 GesG/TG; vgl. auch BGE 2C_45/2011 vom 3. Oktober 2011 E. 7.3). Gegenüber allen diesen Personen befindet sie ebenfalls über die Befreiung vom Notfalldienst und über die von ihnen allenfalls zu leistende Ersatzabgabe (§ 23a Abs. 3 Satz 2 GesG/TG). In diesem Zusammenhang hat der Gesetzgeber entsprechende Kompetenzen an die Ärztegesellschaft übertragen. Diese tritt diesbezüglich gegenüber den Ärzten hoheitlich, kraft der ihr übertragenen Kompetenzen auf ungeachtet dessen, ob diese ihre Mitglieder sind oder nicht (vgl. Sprumont/Perrenoud, a.a.O., S. 25). Damit soll sie auch nicht mehr wie früher gegenüber ihren Mitgliedern den - für sie beschwerlicheren - Weg eines von ihr bei den Zivilgerichten einzuleitenden Verfahrens gehen müssen, um die Pflicht zur Ersatzabgabe der jeweiligen Ärzte anerkennen zu lassen bzw. einen vollziehbaren Titel zu erlangen. Ist ein Arzt mit dem Entscheid der Ärztegesellschaft über die zu leistende Ersatzabgabe nicht einverstanden, muss nunmehr er tätig werden und innert gesetzlicher Frist mit Rekurs an das kantonale Departement für Finanzen und Soziales gelangen (vgl. § 23a Abs. 4 GesG/TG i.V.m. §§ 44 ff. [Verfahren] und 83 ff. [Vollzug] des Thurgauer Gesetzes vom 23. Februar 1981 über die Verwaltungsrechtspflege [Verwaltungsrechtspflegegesetz, RB 170.1]). Nicht rechtzeitig angefochtene Entscheide, mit denen die Ärztegesellschaft die bezifferte Ersatzabgabe fordert, sind vollziehbar und vollstreckbaren gerichtlichen Urteilen gleichgestellt (vgl. §§ 83 und 85 des erwähnten Verwaltungsrechtspflegegesetzes; vgl. allg. zur Übertragung der Entscheidungs- bzw. Verfügungsbefugnis auf eine private Einrichtung: erwähnter BGE 2C_45/2011 E. 6 und 7.4). Auch dabei spielt keine Rolle, ob der jeweilige Arzt Mitglied der Ärztegesellschaft ist.
Ausserdem sollen sämtliche Erträge aus der Ersatzabgabe gemäss § 23a Abs. 3 Satz 2 GesG/TG "zweckgebunden" eingesetzt werden. Damit meinte der Gesetzgeber, die Ersatzabgabe solle zum Beispiel für Fortbildung oder medizinische Utensilien verwendet werden (Ausführungen des Kommissionspräsidenten zu § 23a Abs. 3 GesG/ TG im Protokoll des Grossen Rates Thurgau Nr. 64 vom 24. Oktober 2007, S. 21). Namentlich aus dem Gesetzestext und der Systematik ist zu folgern, dass der Einsatz der durch die Ersatzabgabe erlangten Mittel einen Zusammenhang mit dem Notfalldienst haben muss. Der kantonale Gesetzgeber war sich bewusst, dass durch den Notfalldienst teilweise erhebliche Zusatzaufwendungen - etwa bei der Ausrüstung sowie der Aus- und Fortbildung - anfallen (vgl. erwähntes Protokoll des Grossen Rates, S. 15-17). Die Ärztegesellschaft darf angesichts von § 23a Abs. 3 Satz 2 GesG/TG auch nicht durch einen Mitgliederbeschluss eine vom Gesetz abweichende Verwendung der Ersatzabgabe vorsehen. Das gilt nicht nur für die von den Nichtmitgliedern, sondern ebenso für die von den Mitgliedern der Ärztegesellschaft geleistete Ersatzabgabe.
2.7 Dem Dargelegten zufolge ist davon auszugehen, dass die Forderung der interessierenden Ersatzabgabe durch die Ärztegesellschaft öffentlich-rechtlicher und nicht (mehr) privatrechtlicher Natur ist. Dieser Schluss entspricht den in Erwägung 2.2 hievor erwähnten Interessen-, Funktions- und Subordinationstheorien. Dabei spielt es keine Rolle, ob der Beschwerdeführer Mitglied der Ärztegesellschaft ist. Das Gesetz trifft keine diesbezügliche Unterscheidung. Eine solche würde zu einer vom Gesetz gerade nicht mehr beabsichtigten Ungleichbehandlung der Ärzte unter sich, insbesondere bei der Erhebung der Ersatzabgabe, aber auch beim Rechtsweg (s. E. 1 hievor), führen. Demnach schuldet der Beschwerdeführer die Ersatzabgabe für das Jahr 2009 - entgegen der Auffassung der Vorinstanz - nicht als ihr Mitglied auf privatrechtlicher Grundlage. Vielmehr handelt es sich bei der Ersatzabgabe um eine Forderung mit öffentlich-rechtlichem Charakter, wobei unerheblich ist, dass der Beschwerdeführer Mitglied der Ärztegesellschaft ist. Die Ersatzabgabe ist bei allen Ärzten gestützt auf die öffentlich-rechtliche Delegationsnorm des § 23a Abs. 3 Satz 2 GesG/TG und die darauf basierenden Regelungen zu erheben.
3. 3.1 Ist mithin die Forderung der Ersatzabgabe öffentlich-rechtlicher Natur, gelten die entsprechenden Prinzipien. Öffentlich-rechtliche Geldleistungspflichten bedürfen grundsätzlich einer formellgesetzlichen Grundlage. Das Erfordernis der gesetzlichen Grundlage (Legalitätsprinzip) im Abgaberecht ist ein selbständiges verfassungsmässiges Recht, dessen Verletzung unmittelbar gestützt auf <ref-law> geltend gemacht werden kann. Dieses Prinzip gilt von Bundesrechts wegen auch für die Kantone. Unter Umständen wird eine Lockerung des Legalitätsprinzips als angebracht erachtet. In Bezug auf dessen Tragweite bzw. Anforderungen ist demnach je nach Art der Abgabe zu differenzieren (vgl. <ref-ruling> E. 2.2 S. 116 mit Hinweisen; Adrian Hungerbühler, Grundsätze des Kausalabgabenrechts, ZBl 104/2003 S. 514 ff. mit Hinweisen; Daniela Wyss, Kausalabgaben, 2009, S. 162 f. und 168 ff.).
3.2 Die von der Ärztegesellschaft gegen den Beschwerdeführer erhobene Forderung wird zur Ausgleichung eines individuellen Vorteils verlangt, der Letzterem aus dem Dispens vom Notfalldienst als Primärpflicht erwächst. Insoweit ist zu Recht von einer "Ersatzabgabe" die Rede. Diese ist im Prinzip nach dem Vorteil zu bemessen, den der Pflichtige aus der Befreiung von der Erfüllung der Primärpflicht zieht (Urteil des Bundesgerichts 2C_541/2008 vom 13. November 2009 E. 4.3 mit Hinweis). Bei Befreiung von einer Dienstleistungspflicht dient häufig das Einkommen des Pflichtigen als Bemessungsmassstab (vgl. Hungerbühler, a.a.O., ZBl 104/2003 S. 511 und 527). Allenfalls können auch die Gründe, die zur Befreiung führen, eine unterschiedliche Festsetzung der Ersatzabgabe rechtfertigen (vgl. erwähnter Schlussbericht der GDK vom 26. Oktober 2006, S. 7 mit Fussnote 3; Notfalldienstordnung der Medizinischen Gesellschaft Basel, Entwurf Mai 2005, Ziff. 5). Die Angemessenheit der Abgabesätze kann dabei nicht anhand des Kostendeckungsprinzips (hiezu allg. <ref-ruling> E. 2 S. 133 f.; <ref-ruling> E. 4.1 S. 55 f.; <ref-ruling> E. 3a/aa S. 188) überprüft werden. Leisteten alle Ärzte Notfalldienst, würde die Ersatzabgabe zudem gar keinen Ertrag abwerfen, weshalb die Kosten (s. dazu obige E. 2.6 in fine) ohnehin anders gedeckt werden müssten. Der Kanton geht zudem von vornherein davon aus, dass die Ersatzabgabe nicht unbedingt sämtliche Kosten im Zusammenhang mit dem Notfalldienst ausgleichen wird (vgl. Protokoll des Grossen Rates Thurgau Nr. 64 vom 24. Oktober 2007 S. 15-17). Es handelt sich mithin um eine kostenunabhängige Abgabe. Es ist auch nicht geltend gemacht worden oder ersichtlich, dass der Befreiung vom Notfalldienst ein bezifferbarer Marktwert zukäme. Hiezu haben die Beteiligten und namentlich der Kanton keine Zahlen dargetan. Der Marktwert träte im Übrigen teilweise in den Hintergrund, wenn - wie erwähnt - unter Umständen nach den Gründen für die Befreiung vom Notfalldienst zu unterscheiden wäre. Daher gelten für die interessierende Ersatzabgabe strengere Anforderungen an die gesetzliche Grundlage als etwa für kostenabhängige Abgaben oder für solche, die zwingend einen Bezug zu einem Marktwert haben (vgl. Hungerbühler, a.a.O., ZBl 104/2003 S. 512, 516, 518 f. und 522; Wyss, a.a.O., S. 163; vgl. das Urteil des Bundesgerichts 2C_609/2010 vom 18. Juni 2011 E. 3-4 zur einmaligen Erhebung einer Abgabe bei Taxifahrern).
Zu keiner anderen Beurteilung führt die bisher etwa bei Studiengebühren als Ausnahme angewandte Praxis der langdauernden Übung (vgl. dazu <ref-ruling> E. 2.2-2.6 S. 116 ff. mit Hinweisen). Da der Kanton erst neuerdings Kompetenzen an die Ärztegesellschaft delegiert und diese hierauf gestützt für alle Ärzte ungeachtet ihrer Mitgliedschaft Regelungen erlassen hat und Ersatzabgaben erhebt, rechtfertigt es sich nicht, insoweit unbestimmte gesetzliche Grundlagen genügen zu lassen. Das gilt erst recht, wenn es - wie hier bei jährlich Fr. 3'000.-- - um die Erhebung von Beträgen geht, die nicht mehr als geringfügig bezeichnet werden können.
3.3 Dem somit geltenden Legalitätsprinzip zufolge darf den rechtsanwendenden Behörden kein übermässiger Spielraum verbleiben und die möglichen Abgabepflichten müssen voraussehbar und rechtsgleich sein. Delegiert der Gesetzgeber Kompetenzen zur rechtssatzmässigen Festlegung einer Abgabe muss er in einer formell-gesetzlichen Grundlage zumindest den Kreis der Abgabepflichtigen, den Gegenstand und die Bemessungsgrundlagen selbst bestimmen (<ref-ruling> E. 3.1 S. 145; <ref-ruling> E. 5.1 S. 348; <ref-ruling> E. 2.1 S. 374; je mit Hinweisen). Das trifft nicht nur dann zu, wenn das Gesetz entsprechende Befugnisse an eine staatliche Stelle überträgt, sondern mindestens ebenso wenn solche an eine nicht staatliche Stelle - wie hier die Ärztegesellschaft - delegiert werden; die wichtigen Regelungen hat der Gesetzgeber selber zu erlassen (vgl. <ref-ruling> E. 2.4.1 S. 320 mit Hinweisen). Dementsprechend muss die Höhe der Abgabe in hinreichend bestimmbarer Weise aus dem formellen Gesetz hervorgehen. Entgegen der Ansicht des kantonalen Departements genügt § 23a GesG/TG als Delegationsnorm diesen Anforderungen nicht. Es ergibt sich weder aus dieser Bestimmung noch aus einer anderen Regelung auf Gesetzesstufe der Betrag der Ersatzabgabe oder zumindest ein Rahmen und Berechnungsmodus für deren Festsetzung.
3.4 Demzufolge war die Ärztegesellschaft mangels hinreichender Gesetzesgrundlage nicht befugt, die Höhe der Ersatzabgabe in ihrem Reglement festzulegen und vom Beschwerdeführer sodann eine entsprechende Zahlung zu verlangen.
4. 4.1 Damit erweist sich die Beschwerde als begründet, weshalb der angefochtene Entscheid aufzuheben ist. Auf die zusätzlich erhobene Rüge der Befangenheit ist bei diesem Ausgang nicht mehr einzugehen. Namentlich kann offen gelassen werden, ob die Vorinstanz den Sachverhalt zur Teilnahme ein und derselben Person an den Entscheiden der Ärztegesellschaft und anschliessend von deren Vorstand richtig festgestellt hat.
4.2 Der Kanton Thurgau, welcher die unzureichende Delegation an die Ärztegesellschaft zu vertreten hat, schuldet an Stelle der Letzteren, die hier zudem öffentliche Aufgaben des Kantons wahrnimmt, dem Beschwerdeführer eine Parteientschädigung (vgl. Art. 68 Abs. 4 i.V.m. <ref-law>). Da der Kanton nicht unmittelbar eigene Vermögensinteressen wahrnimmt, ist hingegen davon abzusehen, ihm Gerichtskosten aufzuerlegen. Mit Blick auf die erwähnte Konstellation rechtfertigt sich, auch von der Ärztegesellschaft keine Gerichtskosten zu erheben (vgl. Art. 66 Abs. 1 und 4 BGG). Über die Kosten und Parteientschädigungen in den vorinstanzlichen Verfahren wird das Verwaltungsgericht neu zu befinden haben.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 14. Juli 2010 aufgehoben. Die Sache wird dem Verwaltungsgericht zu neuem Entscheid über die Kosten und Parteientschädigungen in den kantonalen Verfahren zurückgewiesen.
2. Es werden keine Gerichtskosten für das bundesgerichtliche Verfahren erhoben.
3. Der Kanton Thurgau hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau und dem Eidgenössischen Departement des Innern schriftlich mitgeteilt.
Lausanne, 25. Oktober 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz