Sachverhalt:
A. A.a In der Volksabstimmung vom 30. November 2008 nahmen die Stimmberechtigten des Kantons Zürich die Volksinitiative "Ja zur Wahlfreiheit beim Medikamentenbezug (Zürcher Medikamentenabgabe-Initiative)" an. Dadurch wurde § 17 des (alten) Gesetzes vom 4. November 1962 über das Gesundheitswesen (aGesG/ZH) dahin geändert, dass praxisberechtigten Ärztinnen und Ärzten auch in den Städten Zürich und Winterthur die Führung einer ärztlichen Privatapotheke bewilligt wird; zuvor galt diese Regelung nur in den übrigen Gemeinden des Kantons.
A.b Dagegen erhobene Stimmrechtsbeschwerden wurden rechtskräftig abgewiesen, letztinstanzlich mit Urteil des Bundesgerichts vom 20. Januar 2011 (Verfahren 1C_468/2010 und 1C_472/2010). Sodann wurde die neue Bestimmung im abstrakten Normenkontrollverfahren vor Bundesgericht angefochten; die Beschwerde wurde mit Urteil vom 23. September 2011 abgewiesen (Verfahren 2C_53/2009).
A.c Mit Beschluss vom 5. Oktober 2011 setzte der Regierungsrat des Kantons Zürich die beschlossene Änderung von § 17 aGesG/ZH auf den 1. Januar 2012 in Kraft. Die neue Bestimmung wurde redaktionell angepasst und als § 25a in das inzwischen geltende Gesundheitsgesetz vom 2. April 2007 (GesG/ZH; LS 810.1) eingefügt. Der Beschluss wurde am 21. Oktober 2011 in der Offiziellen Gesetzessammlung publiziert.
B. B.a Gegen den Beschluss vom 5. Oktober 2011 erhoben X._, Y._ und Z._ Beschwerde beim Verwaltungsgericht des Kantons Zürich mit dem Antrag, die Änderung sei nur mit einer Übergangsfrist von mindestens fünf Jahren, eventualiter mit einer angemessenen Übergangsfrist, in Kraft zu setzen.
B.b Zugleich erhoben die Genannten beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den gleichen Anträgen (Verfahren 2C_928/2011). Mit Verfügung vom 18. November 2011 wurde das Verfahren bis zum Entscheid des Verwaltungsgerichts sistiert.
B.c Das Verwaltungsgericht wies mit Urteil vom 17. Januar 2012 die bei ihm erhobene Beschwerde ab und setzte den Termin der Inkraftsetzung neu auf den 1. Mai 2012 fest.
B.d Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts schrieb mit Verfügung vom 24. Januar 2012 das Verfahren 2C_928/2011 wegen Rückzugs der Beschwerde als gegenstandslos ab.
C. X._, Y._ und Z._ erheben gegen den Entscheid des Verwaltungsgerichts vom 17. Januar 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen das angefochtene Urteil aufzuheben bzw. die Gesetzesänderung nur mit einer Übergangsfrist von mindestens fünf Jahren, eventuell mit einer angemessenen Übergangsfrist, in Kraft zu setzen. Zugleich ersuchen sie um Erteilung der aufschiebenden Wirkung.
Mit Verfügung vom 6. März 2012 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts das Gesuch um aufschiebende Wirkung abgewiesen.
Das Verwaltungsgericht und die Gesundheitsdirektion des Kantons Zürich beantragen Abweisung der Beschwerde.

Erwägungen:
1. Der angefochtene Beschluss, welcher das Datum des Inkrafttretens der vom Volk am 30. November 2008 verabschiedeten Änderung des zürcherischen Gesundheitsgesetzes festlegt, ist ein kantonal letztinstanzlicher Endentscheid, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG; <ref-ruling> E. 1.1 S. 176). Die Beschwerdeführer sind als Inhaber von in der Stadt Zürich gelegenen Apotheken vom angefochtenen Entscheid besonders berührt und zur Beschwerde legitimiert (<ref-law>; Urteil 2C_53/2009 vom 23. September 2011 E. 1.3).
2. Nach Art. 3 Abs. 1 KV/ZH (SR 131.211) beruhen der Aufbau des Staates und die Ausübung staatlicher Macht auf dem Grundsatz der Gewaltenteilung. Nach Art. 23 lit. b in Verbindung mit Art. 24 lit. a KV/ZH kann jederzeit mit einer Volksinitiative der Erlass, die Änderung oder die Aufhebung eines Gesetzes verlangt werden. Der Regierungsrat ist nach Art. 60 KV/ZH die oberste leitende und vollziehende Behörde des Kantons (Abs. 1). Er wahrt die Verfassung und setzt die Gesetze, die Verordnungen und die Beschlüsse des Kantonsrates um (Abs. 2). Aus diesen Bestimmungen, aus dem Legalitätsprinzip wie auch aus den verfassungsrechtlich garantierten politischen Rechten (<ref-law>) ergibt sich, dass der Regierungsrat die vom Volk beschlossenen Gesetze entsprechend dem Willen des Gesetzgebers in Kraft setzt. Der Verzicht auf die Inkraftsetzung oder ihre Verzögerung ohne sachlichen Grund verstiesse gegen die Gewaltenteilung und das Willkürverbot (<ref-ruling> E. 2.2 und 2.3 S. 178 f. mit Hinweisen).
3. 3.1 Unbestritten enthält die vom Volk angenommene Gesetzesänderung selber keine Übergangsfrist für das Inkrafttreten. Die Beschwerdeführer leiten den Anspruch auf eine Übergangsfrist jedoch aus dem Grundsatz von Treu und Glauben (<ref-law>) ab.
3.2 Der Grundsatz von Treu und Glauben verschafft einen Anspruch auf Schutz berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten, sofern sich dieses auf eine konkrete, den betreffenden Bürger berührende Angelegenheit bezieht (<ref-ruling> E. 6.1 S. 636 f.; <ref-ruling> E. 8.1 S. 60; <ref-ruling> E. 4.1 S. 170).
3.3 Der verfassungsmässige Anspruch auf Treu und Glauben bindet auch den Gesetzgeber (<ref-ruling> E. 10.b/aa S. 126; <ref-ruling> E. 3c S. 336). Daraus ergibt sich das Verbot der Rückwirkung (BGE <ref-ruling> E. 8.1 S. 60; <ref-ruling> E. 3b/aa S. 408; je mit Hinweisen); jedermann soll darauf vertrauen können, dass er sich rechtskonform verhält, wenn er die Gesetze einhält, die im Zeitpunkt seines Verhaltens in Kraft sind.
3.4 Hingegen ergibt sich aus <ref-law> kein Anspruch auf Schutz vor Gesetzesänderungen. Im Gegenteil steht der Anspruch auf Vertrauensschutz im Allgemeinen unter dem Vorbehalt von Rechtsänderungen (<ref-ruling> E. 3b/cc S. 123; <ref-ruling> E. 4b S. 254). Aus dem Demokratieprinzip ergibt sich, dass das Gesetz jederzeit geändert werden kann, wenn aufgrund geänderter politischer Anschauungen andere Lösungen vorgezogen werden (BGE <ref-ruling> E. 8.1 S. 60; Urteile 1A.208/1999 vom 15. Mai 2000 E. 3c; 2P.276/1995 vom 3. April 1996 E. 3a, in: ZBl 98/1997 S. 65). Aus diesem Grund schreibt die Bundesverfassung vor, dass die Kantonsverfassungen jederzeit geändert werden können (<ref-law>); zeitliche Schranken oder Sperrfristen für Verfassungsänderungen sind unzulässig (ALEXANDER RUCH, in: Ehrenzeller/Mastronardi/Schweizer/Vallender [Hrsg.], Die schweizerische Bundesverfassung - Kommentar, 2. Aufl. 2008, Rz. 12 zu Art. 51; ALFRED KÖLZ, Die Zulässigkeit von Sperrfristen für kantonale Verfassungsinitiativen, ZBl 2001 S. 175 f.). Dasselbe gilt für die einfache Gesetzgebung, soweit nicht die kantonale Verfassung Sperrfristen festlegt (<ref-ruling> E. 2 und 3 S. 159 f.; <ref-ruling> E. 2 S. 382 ff.; KÖLZ, a.a.O., S. 179 ff.). Die Zürcher Kantonsverfassung sieht keine solchen Einschränkungen vor; im Gegenteil kann nach Art. 23 lit. b KV/ZH mit einer Volksinitiative jederzeit der Erlass, die Änderung oder die Aufhebung eines Gesetzes verlangt werden. Daher muss die geänderte Regelung grundsätzlich auch jederzeit in Kraft gesetzt werden können: Die jederzeitige Abänderbarkeit würde ihres Sinnes entleert, wenn eine Gesetzesänderung zwar beschlossen, die geänderte Fassung aber nicht oder nur verzögert in Kraft gesetzt werden könnte.
3.5 Daraus folgt, dass grundsätzlich niemand auf die unveränderte Fortdauer des Rechts vertrauen kann. Es fehlt daher an einer Vertrauensgrundlage, aus der ein Anspruch auf (begrenzte) Weitergeltung der bisherigen Gesetzeslage abgeleitet werden könnte (<ref-ruling> E. 4.3.3 S. 5; <ref-ruling> E. 8.1 S. 60; je mit Hinweisen). Anders verhält es sich nur, wenn der Gesetzgeber selber im Gesetz die Unabänderlichkeit bestimmter Positionen festgelegt und damit wohlerworbene Rechte geschaffen hat (<ref-ruling> E. 7.1 S. 35; <ref-ruling> E. 8.1 S. 60; <ref-ruling> E. 10.b/aa S. 125 f.; je mit Hinweisen).
3.6 Aus dem Grundsatz von Treu und Glauben, der Verhältnismässigkeit und dem Willkürverbot hat die Rechtsprechung sodann abgeleitet, dass unter Umständen angemessene Übergangsfristen für neue Regelungen verfassungsrechtlich geboten sein können (<ref-ruling> E. 7.6.1 S. 40 mit Hinweisen). So können etwa bei der Einführung neuer Anforderungen für bestimmte Berufstätigkeiten erleichterte Anforderungen oder Anpassungsfristen geboten sein für Personen, welche die Tätigkeit bereits ausüben (<ref-ruling> E. 4 S. 99 f.; Urteil 2C_694/2011 vom 19. Dezember 2011 E. 4.9).
3.7 Solche Ansprüche können insbesondere dann entstehen, wenn durch Gesetzesänderungen in ein vertragliches oder vertragsähnliches Rechtsverhältnis eingegriffen wird (<ref-ruling> E. 4b S. 515). Dies trifft etwa im öffentlichen Dienstrecht zu, wo der Grundsatz der jederzeitigen Abänderbarkeit der Gesetzgebung in einem Spannungsverhältnis zum Grundsatz des Vertrauens auf Weitergeltung der individuell verfügten oder vereinbarten Anstellungsbedingungen steht. Selbst hier hat allerdings die Rechtsprechung (<ref-ruling> E. 7.1 und 7.2 S. 35 f.; <ref-ruling> E. 5b S. 256) die jederzeitige Abänderbarkeit der gesetzlichen Regelung betont, das Fehlen einer Übergangsregelung nur zurückhaltend als verfassungswidrig beurteilt und namentlich bei relativ geringfügigen Leistungseinbussen auch eine Inkraftsetzung ohne oder mit kurzen Übergangsregelungen nicht beanstandet. Soweit die Praxis Übergangsfristen als verfassungsrechtlich geboten erachtet hat, ging es darum, den Betroffenen zu ermöglichen, ihre Lebenshaltung an ein allfällig reduziertes Einkommen anzupassen, bei besoldungsrechtlichen Ansprüchen z.B. durch Kündigung vor dem Inkrafttreten der neuen Regelung, so dass allenfalls ein Anspruch auf eine Übergangsfrist im zeitlichen Rahmen der Kündigungsfrist oder von vergleichbarer Dauer anerkannt werden könnte (<ref-ruling> E. 7.6.1 S. 40 mit Hinweisen).
3.8 Eine Übergangsregelung kann sich zudem bei neuen belastenden Anforderungen aufdrängen, um eine angemessene Amortisation von Investitionen zu ermöglichen (<ref-ruling> E. 5e, 9b/c S. 251 ff.; vgl. auch zum Anspruch auf Übergangsregelungen bei Praxisänderungen, um Rechtsverluste oder das Nutzloswerden gutgläubig getätigter Investitionen zu verhindern: <ref-ruling> E. 4.4.6 S. 103; <ref-ruling> E. 5 S. 165 f.). Das bedeutet aber nicht, dass ein verfassungsrechtlicher Anspruch bestünde, alle Investitionen, die unter der Geltung einer bestimmten Rechtslage getätigt wurden, auch unter geänderter Rechtslage vollumfänglich amortisieren zu können (<ref-ruling> E. 5e und 9b S. 251 ff.). Neue Einschränkungen sollen aber nicht überfallartig erfolgen (<ref-ruling> E. 6c S. 255).
Das Interesse am Vertrauensschutz ist abzuwägen gegenüber dem öffentlichen Interesse daran, dass Gesetzesänderungen aufgrund des Legalitätsprinzips grundsätzlich ohne Verzug in Kraft gesetzt werden müssen, wenn keine besonderen Gründe dagegen sprechen (<ref-ruling> E. 4b S. 260 f.; Urteil 2P.276/1995 vom 3. April 1996 E. 4b, in: Pra 1997 Nr. 1 S. 1). So hat das Bundesgericht Übergangsfristen von vier Monaten nach der Volksabstimmung (<ref-ruling> E. 8b S. 348) bzw. drei Monaten nach Eintritt der Rechtskraft des Gesetzes (<ref-ruling> E. 7 S. 195 f.) für das Entfernen von gemäss der neuen Gesetzgebung unzulässigen Geldspielautomaten als genügend erachtet. Im Urteil 2P.146/1996 vom 27. Januar 1997 E. 5d, in: RDAT 1997 n. 51 I pag. 149 wurde in einem analogen Fall eine Frist von einem Monat ab Volksabstimmung als ungenügend, hingegen eine solche von neun Monaten als genügend beurteilt. Dabei hat die Rechtsprechung immer auch darauf abgestellt, ob mit den eingetretenen Rechtsänderungen gerechnet werden musste, auch wenn nicht endgültig bekannt war, ob und wann sie in Kraft treten würden (<ref-ruling> E. 4e/ee S. 141; <ref-ruling> E. 9c/d S. 259 ff.; <ref-ruling> E. 7a S. 195).
4. An den soeben dargelegten Voraussetzungen für eine verfassungsrechtlich gebotene Übergangsregelung fehlt es im vorliegenden Fall:
4.1 Die Beschwerdeführer berufen sich zu Recht nicht auf ein wohlerworbenes Recht, auf individuelle Zusicherungen oder eine vertragliche oder vertragsähnliche Situation. Sie machen als Vertrauensgrundlage einzig geltend, das Bundesgericht habe in <ref-ruling> E. 2.3.2 S. 213 die frühere Fassung von § 17 aGesG/ZH in Verbindung mit <ref-law> (SR 832.10) als Schutznorm zu Gunsten der Apotheker qualifiziert. Diese Qualifikation erfolgte jedoch nur im prozessualen Sinne, dass eine Verletzung der Norm ein rechtlich geschütztes Interesse der Apotheker betraf und diesen nach Art. 88 aOG den Zugang zur staatsrechtlichen Beschwerde vor Bundesgericht eröffnete (vgl. auch Urteil 2C_53/2009 vom 23. September 2011 E. 1.3). Eine Vertrauensgrundlage auf (zeitlich begrenzte) Weitergeltung der Norm kann daraus - wie bei allen anderen Normen, die nach der früheren Rechtsprechung zur staatsrechtlichen Beschwerde als Schutznormen qualifiziert wurden - nicht abgeleitet werden.
4.2 Es besteht sodann eine grundlegend andere Situation als dort, wo eine Gesetzesänderung neue Einschränkungen oder Verbote einführt: Die hier zur Diskussion stehende Gesetzesänderung schränkt nicht die Tätigkeit oder Rechtsstellung der Apotheker im Allgemeinen oder der Beschwerdeführer im Besonderen ein und auferlegt ihnen keine zusätzlichen Rechtspflichten. Sie erlaubt bloss einem weiteren Personenkreis (den praxisberechtigten Ärzten), eine bisher den Apothekern vorbehaltene Tätigkeit auszuüben. Die Apotheken werden dadurch einer zusätzlichen Konkurrenz ausgesetzt. Es ist zwar plausibel, dass dadurch der Umsatz der Apotheken abnehmen wird. Indessen bietet die Bundesverfassung keinen Schutz vor neuer oder zusätzlicher Konkurrenz. Das Verbot der ärztlichen Selbstdispensation kann nur mit gesundheitspolitischen Überlegungen gerechtfertigt werden, aber nicht mit einem strukturpolitischen Schutz der Apotheken (vgl. <ref-law>; <ref-ruling> E. 2.5 S. 202 f.; Urteil 2C_53/2009 vom 23. September 2011 E. 5.2/5.3). Wenn der Gesetzgeber diese gesundheitspolitischen Überlegungen anders gewichtet als bisher, so tangiert er damit wohl reflexweise faktische wirtschaftliche Interessen der Apotheken, doch verletzt er keine verfassungsrechtlich geschützte Rechtsposition.
4.3 Die Vorinstanz weist mit Recht darauf hin, dass umgekehrt das Verbot der ärztlichen Selbstdispensation eine Einschränkung der Wirtschaftsfreiheit der Ärzte darstellt, die ihrerseits einer gesetzlichen Grundlage bedürfte (vgl. <ref-law>). Nachdem mit der früheren Fassung von § 17 aGesG/ZH die entsprechende gesetzliche Grundlage aufgehoben wurde und die Gesetzesänderung keine Übergangsfrist vorsieht, fehlt es nun an einer derartigen Grundlage. Der Schutz faktischer Interessen Dritter dürfte - allenfalls abgesehen von Fällen der polizeilichen Generalklausel (vgl. <ref-ruling> E. 3 und 4 S. 442 ff.) - kaum je eine gesetzliche Grundlage für Grundrechtseingriffe ersetzen.
4.4 Es ist auch kein Grund ersichtlich, weshalb die Beschwerdeführer auf die unveränderte Weitergeltung der bisherigen Gesetzgebung hätten vertrauen dürfen. Wie sie selber vorbringen, ist die ärztliche Selbstdispensation seit vielen Jahren im Kanton Zürich politisch umstritten. Dies gilt auch in anderen Kantonen, was dazu geführt hat, dass je in rund der Hälfte der Kantone die Selbstdispensation zugelassen oder verboten ist. Dies schliesst per se schon aus, dass ein begründetes Vertrauen auf unveränderte Weitergeltung der bisherigen Gesetzgebung entstehen konnte. Spätestens seit Zustandekommen der Volksinitiative im September 2006 mussten die Apotheker damit rechnen, dass die Rechtslage auch im Kanton Zürich ändern könnte. Von einem überfallartigen Inkrafttreten einer neuen Regelung kann daher keine Rede sein. Ein berechtigtes Vertrauen auf Weitergeltung der bisherigen Rechtslage ergibt sich auch nicht daraus, dass die Bundesrechtskonformität der Gesetzesänderung in Frage gestellt wurde, was zu einem Beschwerdeverfahren vor Bundesgericht führte. Die blosse Erhebung einer Beschwerde begründet kein schutzwürdiges Vertrauen, dass sie gutgeheissen wird. Vielmehr mussten die Beschwerdeführer auch mit einer Abweisung der Beschwerde rechnen und sich darauf einstellen. Sie hatten genügend Zeit, um ihren Lagerbestand an die absehbare Umsatzreduktion anzupassen.
4.5 Unter diesen Umständen sind auch die Hinweise der Beschwerdeführer, sie hätten kurz vor Zustandekommen der Volksinitiative noch erhebliche Investitionen in den Kauf oder den Ausbau von Apotheken getätigt, nicht massgeblich. Sie stehen damit nicht anders da als viele andere Personen, welche eine Geschäftstätigkeit aufnehmen oder Investitionen tätigen und infolge geänderter rechtlicher Rahmenbedingungen ihre Tätigkeiten umdisponieren müssen (vgl. etwa BGE <ref-ruling> E. 8 S. 60 ff.; <ref-ruling> E. 4 S. 260 ff.).
4.6 Hinzu kommt, dass die Gesetzesänderung in der Volksabstimmung vom 30. November 2008 angenommen wurde. Die Inkraftsetzung erlitt durch die verschiedenen Beschwerdeverfahren erhebliche Verzögerungen und wurde nunmehr von der Vorinstanz auf 1. Mai 2012 festgelegt. Das Gesetz tritt somit erst fast dreieinhalb Jahre nach der Volksabstimmung in Kraft. Soweit überhaupt ein verfassungsmässiger Anspruch auf eine Übergangsfrist bestünde, wäre dieser bei weitem eingehalten.
5. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich demnach als unbegründet und ist abzuweisen. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens (<ref-law>). Parteientschädigungen sind nicht geschuldet (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Regierungsrat des Kantons Zürich und dem Verwaltungsgericht des Kantons Zürich, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 20. April 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger