Sachverhalt:
A. Dr. med. Y._ betreibt in A._ ein Zentrum für Fusschirurgie. Kurz nach der Eröffnung seiner Praxis stellte er im Dezember 1999 ein Gesuch um Befreiung von der Notfalldienstpflicht, welches letztinstanzlich am 28. Oktober 2003 durch die Gesundheits- und Fürsorgedirektion des Kantons Bern (nachfolgend: Gesundheits- und Fürsorgedirektion) abgewiesen wurde. Da Y._ der Notfalldienstpflicht in der Folge nicht nachkam, verpflichtete ihn der mit der Organisation des ärztlichen Notfalldienstes betraute Verein X._ mit Schreiben vom 4. Mai 2004 zur Zahlung von ausserordentlichen Beiträgen von Fr. 15'000.-- für den Zeitraum vom 1. Januar 2002 bis zum 31. Dezember 2004. Die Gesundheits- und Fürsorgedirektion hob die "Verfügung" des Verein X._ auf Beschwerde von Y._ hin auf, da der Verein X._ nicht zum Erlass von Verfügungen zuständig sei, was vom Verwaltungsgericht des Kantons Bern mit Urteil vom 21. Januar 2005 bestätigt wurde.
B. Am 17. Februar 2005 beantragte der Verein X._ dem Kantonsarztamt Bern, Y._ sei zu verpflichten, dem Verein X._ eine Ersatzabgabe für die Nichterfüllung der Notfalldienstpflicht in der Höhe von Fr. 15'000.-- zuzüglich Zins zu 5 % seit 4. Mai 2004 zu bezahlen. Das Kantonsarztamt Bern wies dieses Gesuch am 23. Mai 2008 ab. Die Gesundheits- und Fürsorgedirektion wies die dagegen erhobene Beschwerde des Verein X._ am 23. Dezember 2010 ab. Die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Urteil vom 20. Dezember 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 24. Januar 2012 beantragt der Verein X._ dem Bundesgericht, Ziff. 1 und 3 des Urteils des Verwaltungsgerichts des Kantons Bern vom 20. Dezember 2011 aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
Y._ beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Das Verwaltungsgericht des Kantons Bern beantragt die Abweisung der Beschwerde. Die Gesundheits- und Fürsorgedirektion sowie das Kantonsarztamt verzichten auf eine Vernehmlassung. Mit Schlussbemerkungen hält der Verein X._ an seinem Antrag fest.

Erwägungen:
1. 1.1 Angefochten ist ein Endentscheid im Sinn von <ref-law>, der von einer letztinstanzlichen kantonalen Gerichtsbehörde in einer Angelegenheit des öffentlichen Rechts (vgl. Urteil 2C_807/2010 vom 25. Oktober 2011 E. 2) erlassen wurde. Ein Ausschlussgrund im Sinn von <ref-law> liegt nicht vor, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist.
1.2 Die Vorinstanz hat die Legitimation des Beschwerdeführers im Verfahren vor dem Verwaltungsgericht ohne nähere Begründung bejaht.
1.2.1 Gemäss <ref-law> ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat.
1.2.2 Der Beschwerdeführer ist ein privatrechtlicher Verein, der mit einer öffentlichen Aufgabe - der Organisation des Notfalldienstes - betraut ist (vgl. auch Urteil 2C_807/2010 vom 25. Oktober 2011 E. 2.6). Zur Begründung seiner Beschwerdebefugnis führt er an, er sei in seinen Interessen als Verein betroffen, denn als Organisator des Notfalldienstes habe er ein unmittelbares Interesse daran, dass der Beschwerdegegner ihm bei Nichterfüllung seiner Notfalldienstpflicht eine Ersatzabgabe entrichte.
Die Frage der Beschwerdelegitimation (vgl. <ref-ruling> E. 4 und 5; <ref-ruling> E. 1.3.3 S. 143; Urteile 2C_736/2010 vom 23. Februar 2012 E. 1.3; 2C_653/2007 vom 22. Februar 2008 E. 1.3 [bejaht] bzw. <ref-ruling> E. 3.3; <ref-ruling> E. 4.3 [verneint]) kann vorliegend offen bleiben, da die Beschwerde ohnehin abzuweisen ist.
2. Gemäss Art. 95 lit. a-c BGG kann die Verletzung von Bundesrecht (einschliesslich Bundesverfassungsrecht), Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden. Die Anwendung von kantonalem Gesetzes- und Verordnungsrecht prüft das Bundesgericht hingegen nur unter dem Gesichtswinkel der Willkür (<ref-ruling> E. 2.2.1 S. 318 mit Hinweisen).
2.1 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 2.1 S. 245 f.), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287). Auf ungenügend begründete Rügen und bloss allgemein gehaltene, appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein. Wird eine Verletzung des Willkürverbots geltend gemacht, muss anhand der angefochtenen Subsumtion im Einzelnen dargelegt werden, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.6 S. 130; <ref-ruling> E. 2.1 und 2.2 S. 245 f.; je mit Hinweisen).
Die vorliegende Beschwerdeschrift, welche über weite Strecken appellatorische Kritik enthält, genügt diesen Anforderungen nur zum Teil.
2.2 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substanziiert vorzubringen ist (Art. 42 Abs. 2 und <ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; vgl. <ref-ruling> E. 1.5 S. 146 f.).
3. 3.1 Der bernische Gesetzgeber hat den Notfalldienst gemäss den vorliegend anwendbaren, am 6. Februar 2001 eingefügten Art. 30a und 30b GesG wie folgt geregelt:
Art. 30a
10. Notfalldienstpflicht
10.1 Grundsatz
1 Ärztinnen und Ärzte, Zahnärztinnen und Zahnärzte sowie Hebammen und Entbindungspfleger mit Berufsausübungsbewilligung sind verpflichtet, sich an einem Notfalldienst zu beteiligen. Sie sind für die Organisation des ambulanten Notfalldienstes selbst besorgt oder können dessen Organisation den Berufsverbänden übertragen.
2 In Ortschaften mit mindestens zwei öffentlichen Apotheken sind deren Inhaberinnen und Inhaber verpflichtet, die Notfallversorgung mit Heilmitteln zu gewährleisten.
3 Die zuständige Stelle der Gesundheits- und Fürsorgedirektion ist über die Organisation des ambulanten Notfalldienstes zu orientieren. Sie regelt die Organisation des ambulanten Notfalldienstes, wenn diese nicht anderweitig sichergestellt ist, und entscheidet bei Streitigkeiten aus der Notfalldienstpflicht.
Art. 30b
10.2 Ausnahmen
1 Die Organisatoren des Notfalldienstes können bei Vorliegen eines wichtigen Grundes eine Person auf Gesuch hin von der Notfalldienstpflicht befreien oder sie von dieser Pflicht ausschliessen.
2 Von der Notfalldienstpflicht befreite oder ausgeschlossene Fachpersonen können wieder in Pflicht genommen werden, wenn der Befreiungs- oder Ausschlussgrund weggefallen oder wenn es zur Sicherstellung der Versorgung notwendig ist.
3 Fachpersonen, die vom Notfalldienst befreit oder ausgeschlossen sind, können zur Leistung einer Entschädigung herangezogen werden. Die Entschädigung darf höchstens die anteilmässigen Kosten des Notfalldienstes decken unter Einschluss einer Pikettentschädigung der Notfalldienst leistenden Personen.
3.2 Die Vorinstanz hat im angefochtenen Urteil festgestellt, es sei unstrittig, dass der Beschwerdegegner vom Notfalldienst weder dispensiert, noch förmlich davon ausgeschlossen worden sei. Umstritten und zu beurteilen sei dagegen, ob er trotzdem gestützt auf aArt. 30b Abs. 3 GesG (in der zitierten und vorliegend anwendbaren, bis 31. Dezember 2010 in Kraft stehenden Fassung) zur Leistung einer Entschädigung verpflichtet werden dürfe. Sie kommt zum Schluss, in der blossen Weigerung, Notfalldienst zu leisten, könne von vorneherein kein "wichtiger Grund" im Sinn von Art. 30b Abs. 1 GesG für eine Befreiung oder einen Ausschluss liegen. Würden nicht dispensierte Ärztinnen und Ärzte, die wie der Beschwerdegegner nicht bereit seien, Notfalldienst zu leisten, als faktisch ausgeschlossen gelten, so hätten die Notfalldienstverpflichteten im Ergebnis die Wahl, ob sie Notfalldienst leisten oder eine Ersatzabgabe bezahlten wollen. Die auf wichtige Gründe beschränkte Befreiung von der Notfalldienstpflicht gemäss Art. 30 Abs. 1 GesG ergäbe keinen Sinn. Dies würde zudem dem öffentlichen Interesse an einem funktionierenden ärztlichen Notfalldienst zuwiderlaufen. Ein faktischer Ausschluss bzw. eine faktische Befreiung von der Notfalldienstpflicht sei somit gesetzlich ausgeschlossen und der Beschwerdegegner sei nach wie vor zur Leistung von Notfalldienst verpflichtet. Der Gesetzgeber habe für die Ärztinnen und Ärzte, welche ausnahmsweise von der Notfalldienstpflicht befreit oder ausgeschlossen seien, eine sogenannte Ersatzabgabe vorgesehen. Schon das Konzept der Ersatzabgabe schliesse es aus, eine Person zur Bezahlung einer Ersatzabgabe zu verpflichten, die von der (primären) Leistungspflicht gar nicht befreit oder ausgeschlossen, sondern nach wie vor realleistungspflichtig sei. Zusammenfassend ergebe sich, dass der Beschwerdegegner von der Regelung gemäss aArt. 30b Abs. 3 GesG nicht erfasst sei und von vornherein nicht zur Bezahlung einer Ersatzabgabe verpflichtet werden könne. Auf weitere im vorinstanzlichen Verfahren diskutierte Fragen sei folglich nicht einzugehen.
3.3 Der Beschwerdeführer macht vorab eine unrichtige Sachverhaltsfeststellung durch die Vorinstanz geltend. Er bringt vor, diese habe verkannt, dass der Beschwerdeführer den Beschwerdegegner mit Schreiben vom 4. Mai 2004 bereits formell von der Notfalldienstpflicht ausgeschlossen habe.
Dieses Vorbringen stellt ein unzulässiges Novum dar (vgl. <ref-law>): Bereits die Gesundheits- und Fürsorgedirektion hatte in ihrem Entscheid vom 23. Dezember 2010 festgehalten, es sei bei den Verfahrensbeteiligten unstrittig, dass der Beschwerdegegner aufgrund eines am 23. Oktober 2003 rechtskräftig abgewiesenen Dispensationsgesuchs zur Mitwirkung am Notfalldienst verpflichtet sei. Im Verfahren vor der Vorinstanz bestritt der Beschwerdeführer diese Feststellung nicht und diese hielt im Urteil vom 20. Dezember 2011 fest, es sei unstrittig, dass der Beschwerdegegner vom Notfalldienst weder dispensiert - sein Dispensationsgesuch habe die Gesundheits- und Fürsorgedirektion am 28. Oktober 2003 rechtskräftig abgewiesen - noch förmlich davon ausgeschlossen worden sei.
Aufgrund der für das Bundesgericht verbindlichen Sachverhaltsfeststellung durch die Vorinstanz ist somit davon auszugehen, dass der Beschwerdegegner vom Notfalldienst weder ausgeschlossen noch dispensiert war.
3.4 Der Beschwerdeführer rügt, die Vorinstanz habe Art. 30a und 30b Abs. 1 GesG überspitzt formalistisch angewendet und damit die Umsetzung der Bestimmungen des kantonalen Gesundheitsgesetzes, so insbesondere von aArt. 30b Abs. 3 GesG in unhaltbarer Weise verhindert. Er begründet diese Rüge über weite Teile mit der Behauptung, mit dem Schreiben vom 4. Mai 2004 sei dem Beschwerdegegner mitgeteilt worden, dass ein wichtiger Grund für einen Ausschluss im Sinn von Art. 30b Abs. 1 GesG vorliege. Seine Rüge basiert somit diesbezüglich auf einer anderen Sachverhaltsvariante, als sie durch die Vorinstanz für das Bundesgericht verbindlich festgestellt wurde (vgl. E. 3.3). Insoweit kann auf die Ausführungen des Beschwerdeführers nicht eingegangen werden. Es bleibt zu prüfen, ob der Beschwerdeführer anderweitige Gründe geltend macht, welche zur Feststellung eines überspitzten Formalismus führen.
3.4.1 Überspitzter Formalismus als besondere Form der Rechtsverweigerung ist gemäss bundesgerichtlicher Praxis gegeben, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, oder wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt und damit dem Bürger den Rechtsweg in unzulässiger Weise versperrt (<ref-ruling> E. 2.1 S. 9 mit Hinweisen).
3.4.2 Die Vorinstanz hat dargelegt, dass die Erhebung der Ersatzabgabe nicht in Frage komme, weil der Beschwerdegegner weder von der Realleistungspflicht befreit noch davon ausgeschlossen worden sei. Diese Feststellung steht auf jeden Fall in Übereinstimmung mit dem hier relevanten Wortlaut der anwendbaren Bestimmung von aArt. 30b Abs. 3 GesG. Danach können zur Leistung einer Entschädigung diejenigen Fachpersonen herangezogen werden, die vom Notfalldienst befreit oder ausgeschlossen sind. Der Beschwerdeführer begründet in diesem Kontext seine Rüge des überspitzten Formalismus damit, es sei ihm infolge der konstanten Weigerung des Beschwerdegegners, Notfalldienst zu leisten, unzumutbar gewesen, diesen im Notfalldienstplan einzuteilen und dieser habe sich faktisch selber ausgeschlossen. Die Vorinstanz hat demgegenüber dargelegt, wie angesichts der Weigerung des Beschwerdegegners, Notfalldienst zu leisten, vorzugehen ist, und darauf hingewiesen, dass diesbezüglich nach dem für Medizinalpersonen geltenden Disziplinarrecht vorzugehen sei.
3.4.3 Die Vorinstanz unterscheidet damit, ausgehend von der gesetzlichen Regelung, die verschiedenen Fragestellungen, nämlich einerseits, ob eine Medizinalperson in der Lage ist, Notfalldienst zu leisten und dazu verpflichtet werden kann oder davon zu befreien ist, andererseits ob eine nicht zu befreiende bzw. nicht befreite Medizinalperson disziplinarrechtlich zur Realvornahme des Dienstes gezwungen oder disziplinarrechtlich zur Verantwortung gezogen werden kann. Diese Differenzierung steht offensichtlich mit der gesetzlichen Konzeption in Übereinstimmung, welche die Verpflichtung zur Leistung von Notfalldienst bzw. die Befreiung von dieser Verpflichtung in den Art. 30a und 30b GesG regelt, währenddem die Vorgehensweise bei einem Verstoss gegen berufliche Verpflichtungen oder andere gesundheitsrechtliche Verpflichtungen - wozu u.a. auch die eben genannte Verpflichtung zur Leistung von Notfalldienst fällt - in den disziplinarrechtlichen Vorschriften gemäss Art. 17 und 17a GesG geregelt ist. Dementsprechend sind die unterschiedlichen Fragestellungen - wie die Vorinstanz im Ergebnis schlüssig festhält - in unterschiedlichen Verfahren zu behandeln. Der Beschwerdeführer vermengt demgegenüber in seinen Überlegungen die verschiedenen Verfahren und deren Voraussetzungen.
3.5 Die Auslegung der massgeblichen Bestimmungen durch die Vorinstanz orientiert sich am Wortlaut der Normen sowie am Zweck, den der Gesetzgeber damit verfolgte. Überspitzt formalistisch ist dies nicht. Ebenso wenig verstösst es gegen das Willkürverbot, die Ersatzabgabepflicht erst nach dem Ausschluss von der Primärleistungspflicht eintreten zu lassen. Wohl ist eine andere Lösung ebenfalls vorstellbar. So ist beispielsweise die Ersatzabgabe bei nicht geleistetem Militärdienst auch ohne Ausschluss aus der Armee geschuldet (vgl. Art. 1 des Bundesgesetzes vom 12. Juni 1959 über die Wehrpflichtersatzabgabe, WPEG; SR 661). Indessen liegt nach ständiger Rechtsprechung Willkür nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar oder gar zutreffender wäre (<ref-ruling> E. 2.2.2 S. 318 f.; <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 1.2 S. 177; <ref-ruling> E. 5.1 S. 17 f.). Es bleibt daher festzuhalten, dass der vorinstanzliche Entscheid nicht als willkürlich gelten kann.
4. Die Beschwerde erweist sich damit als unbegründet und ist abzuweisen.
Der Beschwerdeführer trägt die Kosten des bundesgerichtlichen Verfahrens (<ref-law>). Er hat dem Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat dem Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'500.-- zu bezahlen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 29. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner