Sachverhalt:
A. Der in Deutschland diplomierte Arzt und Zahnarzt X._ (geb. 1950) stellte am 27. März 2009 ein Gesuch um Bewilligung der selbständigen zahnärztlichen Tätigkeit im Kanton Zürich. Die Gesundheitsdirektion des Kantons Zürich verweigerte am 28. Mai 2009 die Bewilligungserteilung wie schon zuvor mit Verfügungen vom 4. November 2002, 17. August 2006 und 9. Oktober 2007. Zur Begründung wurde auf frühere Vorgänge hingewiesen, welche die Vertrauenswürdigkeit des Gesuchstellers beeinträchtigt hatten: X._ war im Kanton Zürich in einer Praxis, die er zu übernehmen gedachte, in grösserem Umfang zahnärztlich tätig geworden, ohne im Besitz der notwendigen Bewilligung zur selbständigen Ausübung des Zahnarztberufes zu sein. Er hatte seine Tätigkeit selbst nach Einleitung einer Strafuntersuchung und bis zur zwangsweisen Praxisschliessung fortgesetzt. Deshalb hatte die Zürcher Gesundheitsdirektion am 4. November 2002 sein Gesuch um Erteilung einer derartigen Bewilligung abgewiesen und ihm zunächst jede zahnärztliche Tätigkeit im Kanton Zürich verboten. Diesen Entscheid hatte das Bundesgericht in letzter Instanz mit Urteil 2P.159/2003 vom 29. September 2003 geschützt. Das Statthalteramt Bülach hatte X._ wegen seines eigenmächtigen Vorgehens am 2. Oktober/3. Dezember 2002 mit einer Busse von Fr. 4'500.-- bestraft.
X._ führte gegen die Verfügung der Gesundheitsdirektion vom 28. Mai 2009 erfolglos Beschwerde beim Verwaltungsgericht des Kantons Zürich.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. Dezember (Postaufgabe am 23. Dezember) 2009 beantragt X._ dem Bundesgericht, den in dieser Sache zuletzt ergangenen Entscheid des Verwaltungsgerichts des Kantons Zürich vom 22. Oktober 2009 aufzuheben und ihm die begehrte selbständige Tätigkeit zu bewilligen.
Die Gesundheitsdirektion des Kantons Zürich stellt den Antrag, auf die Beschwerde nicht einzutreten, eventualiter sie abzuweisen. Das Verwaltungsgericht verweist auf die Erwägungen seines Entscheids und verzichtet im Übrigen auf eine Vernehmlassung.
C. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat das von X._ gleichzeitig mit Beschwerdeeinreichung gestellte Gesuch, ihm vorsorglich die Aufnahme der selbständigen Tätigkeit zu gestatten, mit Verfügung vom 11. Februar 2010 abgewiesen.

Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Ein Ausschlussgrund nach <ref-law> ist nicht gegeben. Namentlich greift Art. 83 lit. t BGG nicht, da es vorliegend weder um die Bewertung der geistigen noch der körperlichen Fähigkeiten des Beschwerdeführers geht, sondern um dessen Vertrauenswürdigkeit (vgl. Urteil des Bundesgerichts 2C_191/2008 vom 24. Juni 2008). Daher ist die rechtzeitig eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig.
Die Gesundheitsdirektion ist der Auffassung, dass auf die Beschwerde nicht einzutreten sei, weil das Begehren des Beschwerdeführers auf die Änderung einer Dauerverfügung ziele. Insoweit hätten sich aber keine neuen massgebenden Sachumstände ergeben. Für die Beurteilung, ob auf das Rechtsmittel einzutreten ist, erweist sich das jedoch nicht als relevant. Die Vorinstanz hat sich mit dem Gesuch des Beschwerdeführers materiell befasst. Deshalb kann dieser eine Überprüfung durch das Bundesgericht des ihn insoweit berührenden Entscheids des Verwaltungsgerichts verlangen (vgl. auch zur Legitimation <ref-law>).
2. Die Voraussetzungen für die selbständige Ausübung eines universitären Medizinalberufes werden - seit dem 1. September 2007 - im Bundesgesetz vom 23. Juni 2006 über die universitären Medizinalberufe (Medizinalberufegesetz, MedBG; SR 811.11) geregelt. Als universitärer Medizinalberuf gelten namentlich Zahnärzte (<ref-law>). Für die selbständige zahnärztliche Tätigkeit bedarf es gemäss <ref-law> einer Bewilligung des Kantons, auf dessen Gebiet die Tätigkeit ausgeübt werden soll.
Die Bewilligung wird erteilt, wenn der Gesuchsteller unter anderem "vertrauenswürdig" ist (<ref-law>). Darunter wird verstanden, dass der Gesuchsteller gut beleumdet bzw. allgemein vertrauenswürdig ist (Botschaft vom 3. Dezember 2004 zum MedBG, BBl 2005 226 Ziff. 2.6 zu Art. 36). Das Erfordernis der Vertrauenswürdigkeit des Arztes dient dem Schutz der öffentlichen Ordnung und Gesundheit. Diese Voraussetzung muss nicht nur im Verhältnis zwischen Arzt und Patienten, sondern auch zwischen dem Arzt und den Behörden erfüllt sein. Insoweit bestehen keine Unterschiede zwischen den bis am 31. August 2007 massgeblichen Vorschriften des Zürcher Gesundheitsgesetzes vom 4. November 1962 und jenen des hier anwendbaren Medizinalberufegesetzes (erwähntes Urteil 2C_191/2008 E. 3.4 und 5.2 mit Hinweisen; vgl. auch das den Beschwerdeführer betreffende Urteil 2C_151/2008 vom 17. Juni 2008 E. 2.2, in: ZBl 110/2009 S. 585). Die Vorinstanzen meinen, der Beschwerdeführer erfülle die Voraussetzung der Vertrauenswürdigkeit nicht.
3. Der Beschwerdeführer beruft sich auf die Wirtschaftsfreiheit nach <ref-law>. Er meint, die Verweigerung der Bewilligung sei unverhältnismässig. Es ist fraglich, ob seine Eingabe überhaupt den Rüge- und Begründungsanforderungen nach Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG genügt (vgl. <ref-ruling> E. 1.4 S. 254 f.; <ref-ruling> E. 1.3 - 1.5 S. 67 f.; <ref-ruling> E. 2.1 - 2.3 S. 245 ff.).
3.1 Das Bundesgericht hatte sich zuletzt vor knapp zwei Jahren bzw. neun Monate vor Stellung des hier interessierenden Antrages vom 27. März 2009 damit zu befassen, ob dem Beschwerdeführer die selbständige zahnärztliche Tätigkeit im Kanton Zug zu gestatten war bzw. wegen Fehlens der Vertrauenswürdigkeit verweigert werden durfte (erwähntes Urteil 2C_151/2008 vom 17. Juni 2008). Unter Hinweis auf zwei frühere Bundesgerichtsurteile vom 29. September 2003 (2P.153/2003) und 17. Mai 2006 (2P.309/2005), die in Bezug auf den Beschwerdeführer ergangen waren, stellte das Bundesgericht fest, dass ihm die Vertrauenswürdigkeit nach wie vor fehle. Dabei war im Bundesgerichtsurteil aus dem Jahr 2006 auch berücksichtigt worden, dass der Beschwerdeführer inzwischen vom Vorwurf, er habe sein Personal ohne die erforderliche Ausbildung Eingriffe an Patienten vornehmen lassen, strafrechtlich freigesprochen worden war (Urteil 2P.309/2005 E. 3.2). Laut Urteil des Bundesgerichts vom 17. Juni 2008 waren neue Umstände, welche eine andere Beurteilung rechtfertigen, nicht ersichtlich (Urteil 2C_151/2008 E. 2.4 in fine).
Zudem bemerkt die Vorinstanz im vorliegend angefochtenen Entscheid, sie habe bereits in einem früheren, in Rechtskraft erwachsenen Entscheid vom 7. Februar 2008 die Haltung der Gesundheitsdirektion bestätigt, wonach sich der Beschwerdeführer bis zum Jahr 2012 eines makellosen Leumundes zu befleissigen habe; erst dann könne er mit Erfolg ein Gesuch um Bewilligung der selbständigen Berufsausübung im Kanton Zürich stellen.
3.2 Darauf geht der Beschwerdeführer nicht ein und legt insbesondere nicht dar, dass sich seither eine massgebende Änderung der Sach- oder Rechtslage ergeben habe. Unter anderem hat sich die berufliche und persönliche Situation des Beschwerdeführers - abgesehen von der neuerlichen Bewilligung der selbständigen zahnärztlichen Tätigkeit im Kanton Schwyz (dazu nachfolgende E. 4) - seit dem letzten Urteil des Bundesgerichts (2C_151/2008 vom 17. Juni 2008) nicht wesentlich verändert. Der Beschwerdeführer kann nach wie vor als (unselbständiger) Assistenzarzt unter Aufsicht im Kanton Zürich arbeiten und seine Praxis in einer grenznahen deutschen Ortschaft weiterführen. Deshalb ist eine andere Beurteilung der Vertrauenswürdigkeit sowie der Verhältnismässigkeit nicht angezeigt.
3.3 Zwar meint der Beschwerdeführer, die Zürcher Gesundheitsdirektion habe von einer achtjährigen Warte- bzw. Bewährungsfrist gesprochen. Diese laufe am 20. September 2010 ab, da ihm seinerzeit am 20. September 2002 die Weiterführung der Praxis im Kanton Zürich durch deren Siegelung verunmöglicht worden sei.
Damit wäre die erwähnte Frist aber auch nach seinem eigenen Vorbringen noch nicht verstrichen. Wie sich zudem unter anderem aus dem soeben erwähnten, rechtskräftigen Entscheid der Vorinstanz vom 7. Februar 2008 ergibt (dort E. 2.2), berechneten die Zürcher Behörden die acht Jahre nicht ab dem 20. September 2002, sondern ab einem Gespräch Ende Januar 2004 mit dem Ombudsmann, den der Beschwerdeführer eingeschaltet hatte (vgl. auch das Schreiben des Ombudsmannes vom 16. Februar 2004). Etwas anderes hat der Generalsekretär der Gesundheitsdirektion - entgegen der Ansicht des Beschwerdeführers - auch nicht in seinem Schreiben vom 17. August 2006 erklärt.
3.4 Unabhängig davon stösst auch der Hinweis des Beschwerdeführers auf einen vom Bundesgericht am 17. Juli 2001 entschiedenen Fall (Urteil 2P.137/2001), in welchem einem Zahnarzt die Bewilligung für einen Zeitraum von fünf Jahren entzogen worden war, ins Leere. Die beiden Fälle sind nicht vergleichbar. Im Gegensatz zum Beschwerdeführer hatte der damals belangte Zahnarzt nicht das Vertrauensverhältnis zu den Aufsichtsbehörden namentlich durch renitentes und unverfrorenes Verhalten ihnen gegenüber schwer beeinträchtigt. Denn anders als im dort zu behandelnden Fall hat sich der Beschwerdeführer ausdrücklichen Anordnungen der Aufsichtsbehörden wiederholt und über einen längeren Zeitraum widersetzt, ihnen gegenüber falsche Angaben gemacht und sein unrechtmässiges Handeln durch Manipulationen zu vertuschen versucht. Ausserdem weisen die Vorinstanzen - worauf der Beschwerdeführer nicht eingeht - zutreffend darauf hin, dass die berufliche Situation der Betroffenen verschieden ist: Damals wurde in eine bereits bestehende Rechtsposition eingegriffen. Beim Beschwerdeführer geht es hingegen (noch immer) um die erstmalige Bewilligungserteilung im Kanton Zürich. Der Beschwerdeführer kann zudem auf eine von ihm bereits in Deutschland betriebene Praxis zurückgreifen, welche von den Massnahmen im Kanton Zürich nicht erfasst wird. Im Übrigen ist nicht auszuschliessen, dass das Bundesgericht im zitierten Vergleichsfall auch einen längeren Bewilligungsentzug geschützt hätte; immerhin erklärte es damals, dass der Betreffende zu gegebener Zeit "durch erfolgten Tatbeweis" darzutun haben werde, dass er die Bewilligungsvoraussetzungen wieder erfüllt (Urteil 2P.137/2001 E. 4e; vgl. dazu auch das Urteil 2C_68/2009 vom 14. Juli 2009).
4. 4.1 Der Beschwerdeführer erwähnt, er sei neuerdings Inhaber der kantonalen Bewilligung des Kantons Schwyz für eine selbständige zahnärztliche Tätigkeit. Es ist zu prüfen, ob er allein deshalb einen Anspruch hat, eine entsprechende Bewilligung auch für den Kanton Zürich zu erhalten. Das Medizinalberufegesetz gewährleistet die Freizügigkeit der Personen mit universitären Medizinalberufen auf dem Gebiet der ganzen Schweiz, wozu es namentlich die Regeln zur selbständigen Ausübung dieser Berufe umschreibt (Art. 1 Abs. 2 und 3 lit. e MedBG; vgl. auch Art. 2 Abs. 4 und Art. 3 des Bundesgesetzes vom 6. Oktober 1995 über den Binnenmarkt [Binnenmarktgesetz, BGBM; SR 943.02]).
Im Übrigen hat das Bundesgericht nach der binnenmarktrechtlichen Freizügigkeitskonzeption die Vermutung der Gleichwertigkeit von Fähigkeitsausweisen gemäss <ref-law> auch auf die persönlichen Voraussetzungen wie die Ehrenhaftigkeit oder Vertrauenswürdigkeit bezogen. Denn es darf angenommen werden, dass sich diese Anforderungen von Kanton zu Kanton nicht wesentlich unterscheiden. Der Inhaber einer Bewilligung eines Kantons ist deshalb in der Regel ohne weitere Prüfung der persönlichen Voraussetzungen zur Berufsausübung in einem anderen Kanton zuzulassen (<ref-ruling> E. 5b S. 283 f., 322 E. 4b S. 332; <ref-ruling> E. 4b S. 62; <ref-ruling> E. 4c S. 321 f.).
4.2 Das Bundesgericht hat bereits bei einer anderen Gelegenheit erklärt, dass kantonale Instanzen unter besonderen Umständen nicht an die Beurteilung der persönlichen Voraussetzungen durch Behörden eines anderen Kantons gebunden sind (<ref-ruling> E. 2.4 S. 19). Der Beschwerdeführer stellte nach mehreren vergeblichen Anläufen in den Kantonen Zürich und Zug ein Gesuch um Bewilligung im Kanton Schwyz. Diese wurde ihm schliesslich ab 1. Juli 2009 dank eines Entscheids des Verwaltungsgerichts Schwyz vom 11. Dezember 2008 erteilt.
Wie die Vorinstanzen richtig bemerken, geht es nicht an, dass durch einen "Instanzen- und Gerichtstourismus" die kurz zuvor in den Kantonen Zürich und Zug getroffenen Entscheide umgangen bzw. ausgehebelt werden. Offenbar will der Beschwerdeführer eine Zahnarztpraxis nicht im Kanton Schwyz, sondern nur im Kanton Zürich (oder Zug) führen. Obwohl er über eine Bewilligung für den Kanton Schwyz verfügt, hat er von ihr dort bisher keinen Gebrauch gemacht. Bereits eine frühere Bewilligung diese Kantons liess er mangels Aufnahme der bewilligten Tätigkeit nach knapp zwei Jahren verfallen. Auch in seinen Eingaben an die Vorinstanz und an das Bundesgericht lässt er schliesslich antönen, für ihn komme nur eine selbständige Tätigkeit in den Kantonen Zürich oder Zug in Frage, nicht jedoch im Kanton Schwyz.
Bei den Binnenmarktregelungen wird im Übrigen davon ausgegangen, dass der Betreffende die interessierende Tätigkeit schon im Kanton, auf dessen Bewilligung er sich beruft, tatsächlich ausgeübt hat (vgl. Art. 2 Abs. 4 Sätze 1 und 2 BGBM: "nach den Vorschriften des Ortes der Erstniederlassung" und "wenn die Tätigkeit am Ort der Erstniederlassung aufgegeben wird"). Es genügt nicht, nur über die Bewilligung eines Kantons zu verfügen, um darauf gestützt bereits Rechte in einem anderen Kanton ableiten zu können. Vielmehr muss die bewilligte Tätigkeit im ursprünglichen Bewilligungskanton ausgeübt werden bzw. worden sein, bevor diesbezüglich eine Berufung auf die Binnenmarktregelungen überhaupt in Betracht kommt (vgl. Kilian Wunder, Die Binnenmarktfunktion der schweizerischen Handels- und Gewerbefreiheit im Vergleich zu den Grundfreiheiten in der Europäischen Gemeinschaft, 1998, S. 229 f.). Erst dann liegt ein interkantonal bedeutsamer Sachverhalt vor. Der Beschwerdeführer war bisher nicht als selbständiger Zahnarzt im Kanton Schwyz tätig, so dass die Binnenmarktfunktion der Wirtschaftsfreiheit schon von vornherein nicht betroffen ist. Ausserdem müsste er sich im Falle der Begründung einer (fiktiven) Niederlassung im Kanton Schwyz, die letztlich nur das Ziel verfolgt, in einem anderen Kanton tätig werden zu können, den allgemein geltenden Grundsatz des Rechtsmissbrauchsverbots entgegenhalten lassen.
Hinzu kommt schliesslich, dass der Beschwerdeführer die angefochtene Massnahme durch sein Verhalten namentlich gegenüber den Zürcher Behörden veranlasst hatte. Diese standen insoweit in direktem Kontakt zum Beschwerdeführer und kennen die gegen ihn gerichteten Vorwürfe mithin aus erster Hand.
4.3 Dem Dargelegten zufolge können die Zürcher Behörden deshalb selber im Rahmen des Gesetzes und ohne Bindung an den Entscheid der Schwyzer Behörden entscheiden, ab welchem Zeitpunkt der Beschwerdeführer die erforderliche Vertrauenswürdigkeit nach <ref-law> aufweist, um auf ihrem Kantonsgebiet tätig werden zu dürfen (vgl. zudem die erwähnten Urteile des Bundesgerichts 2C_68/2009 vom 14. Juli 2009 E. 6.4 im innerschweizerischen bzw. interkantonalen Verhältnis sowie 2C_151/2008 E. 2.4 im Verhältnis zu Deutschland). Keine Rolle spielt insoweit, ob das Verwaltungsgericht des Kantons Schwyz in Kenntnis sämtlicher Vorwürfe, die gegen den Beschwerdeführer in den Kantonen Zürich und Zug erhoben wurden, geurteilt hatte. Wie ausgeführt (E. 3.1 - 3.3 hievor), ist mangels anderweitiger massgebender Änderung des Sachverhaltes weder ersichtlich noch dargetan worden, dass die Zürcher Instanzen vorliegend gleich wie das Verwaltungsgericht des Kantons Schwyz hätten entscheiden müssen.
5. 5.1 Demzufolge erweist sich die Beschwerde als unbegründet und ist daher abzuweisen, soweit auf sie überhaupt einzutreten ist.
5.2 Bei diesem Ausgang hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Zürich, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Merz