Sachverhalt:
A.
Gegen Dr. med. A._ eröffnete das kantonale Steueramt Zürich am 22. März 2013 ein Nachsteuerverfahren für die Kantons- und Gemeindesteuern der Perioden 2003 sowie 2004. Am 21. Mai 2013 leitete es ein Steuerstrafverfahren betreffend die Staatssteuer derselben Jahre ein.
Nachdem das Amt A._ zusammen mit der Eröffnung des Nachsteuerverfahrens am 22. März 2013 aufgefordert hatte, Unterlagen zu seinen Erwerbseinkünften einzureichen bzw. Angaben dazu zu machen, mahnte es seine Auflage am 14. November 2013. Der Steuerpflichtige reichte in der Folge die geforderten Unterlagen nicht ein. Daraufhin unterbreitete die Behörde ihm Veranlagungsvorschläge und führte am 19. Mai 2015 eine Verhandlung durch.
Am 16. Juni 2016 verfügte die Veranlagungsbehörde wegen nicht deklarierter Einkünfte aus selbstständiger Erwerbstätigkeit in den Jahren 2003 und 2004 eine Nachsteuer von insgesamt Fr. 198'839.30 inklusive Zins (Fr. 60'268.30 für 2003, Fr. 132'201.60 für 2004, jeweils plus Zins). Die Einkünfte wurden mangels Einreichung aussagekräftiger Unterlagen nach Ermessen geschätzt. Die Nachsteuerverfügung enthielt den Hinweis, dass das Bussenverfahren einstweilen sistiert werde.
B.
A._ erhob gegen die Nachsteuerverfügung Einsprache, welche das kantonale Steueramt am 15. August 2017 abwies. Gleichzeitig stellte es das Bussenverfahren ein. Gegen die Abweisung der Einsprache rekurrierte der Betroffene erfolglos an das Verwaltungsgericht des Kantons Zürich, 2. Abteilung.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 29. März 2018 beantragt A._, das verwaltungsgerichtliche Urteil vom 21. Februar 2018 aufzuheben und von der Erhebung einer Nachsteuer abzusehen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Vom kantonalen Steueramt Zürich ist keine Stellungnahme eingegangen. Die Eidgenössische Steuerverwaltung hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG i.V.m. Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Auf die Beschwerde ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG).
1.2.1. Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Steuerinstanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das StHG den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2.1 S. 465; <ref-ruling> E. 2 S. 210; Urteil 2C_583/2016 vom 1. Dezember 2017 E. 1.2.1).
1.2.2. Das Bundesgericht kann die Auslegung und Anwendung rein kantonalen (und kommunalen) Verfassungs-, Gesetzes- oder Verordnungsrechts nicht als solche überprüfen, sondern lediglich daraufhin, ob dadurch Bundes-, Völker- oder interkantonales Recht verletzt wird (Art. 95 lit. a, b und e BGG; <ref-ruling> E. 2.1 S. 372). Dabei beschränkt sich die Überprüfung auf die Verletzung verfassungsmässiger Rechte (<ref-ruling> E. 1.3 S. 96), insbesondere auf den Aspekt der Verletzung des Willkürverbots (<ref-law>, <ref-ruling> E. 4.2 S. 516).
2.
2.1. Entgegen den Feststellungen der Vorinstanz (vgl. angefochtenes Urteil, E. 2.2.2) kann hier nicht von einer getrennten bzw. parallelen Führung des Nach- und des Strafsteuerverfahrens gesprochen werden. Die Verfahren wurden von der gleichen Person geführt. Überdies wurde in verschiedenen Anordnungen in beiden Verfahren jeweils auf das andere Verfahren Bezug genommen. Trotz der - teilweisen - formellen Trennung der beiden Verfahren ist somit materiell von einem kombinierten Nachsteuer- und Steuerstrafverfahren auszugehen. Darauf stützt der Beschwerdeführer seine Auffassung, durch die Vermischung von Nachsteuer- und Steuerhinterziehungsverfahren sei der Grundsatz verletzt worden, wonach niemand gezwungen werden soll, sich selbst zu belasten.
2.2. Der Steuerpflichtige ist in einem Steuerverfahren oder Nachsteuerverfahren verpflichtet, der Steuerbehörde die notwendigen Informationen und Unterlagen mitzuteilen (Art. 42 StHG). Demgegenüber ist das Steuerstrafverfahren (mit Einschluss des Steuerhinterziehungsverfahrens) als strafrechtlich im Sinne von Art. 6 Ziff. 1 EMRK zu qualifizieren; es gilt daher für dieses Verfahren der vom EGMR aus dieser Bestimmung abgeleitete Grundsatz des "nemo tenetur se ipsum accusare", wonach niemand gezwungen werden soll, sich selbst zu belasten; ( vgl. u.a. Frank Meyer, in: Ulrich Karpenstein/Franz C. Mayer, EMRK-Kommentar, 2. Aufl., 2015, Art. 6 N 129).
2.2.1. Dieser Grundsatz ist z.B. dann verletzt, wenn der Pflichtige in einem Steuerstrafverfahren mit einer Ordnungsbusse belegt wird, weil er sich weigert, verlangte Unterlagen einzureichen (Urteile des EGMR i.S. Chambaz gegen Schweiz vom 5. April 2012, Nr. 11663/04, §§ 38 ff. und J.B. gegen Schweiz vom 3. Mai 2001, Nr. 31827/96, Recueil CourEDH 2001-III, §§ 44 ff., 63 ff.; <ref-ruling> E. 2.6.1 S. 52). Ein Verstoss liegt ebenfalls vor, wenn die Steuerbehörden in einem Nachsteuerverfahren Druck auf den Pflichtigen ausüben, an der Sachverhaltsermittlung mitzuwirken, und damit tatsächlich Beweismittel erwirken, welche in einem nachfolgenden Steuerstrafverfahren gegen ihn verwendet werden. Unter solchen Umständen hat der Steuerpflichtige im Ergebnis auch im Steuerstrafverfahren zu seiner eigenen Belastung beigetragen, was dem Verbot des Selbstbelastungszwangs widerspricht (Urteil des EGMR i.S. Chambaz gegen Schweiz vom 5. April 2012, Nr. 11663/04, §§ 50 ff.).
2.2.2. Beweismittel aus einem (Nach-) Steuerverfahren dürfen deshalb in einem Strafverfahren nur dann verwendet werden, wenn sie weder unter Androhung einer Veranlagung nach pflichtgemässem Ermessen mit Umkehr der Beweislast noch unter Androhung einer Busse wegen Verletzung von Verfahrenspflichten beschafft wurden (Art. 57a Abs. 2 StHG). Das heisst nicht, dass solche Aussagen und Belege im Steuerstrafverfahren generell unverwertbar wären. Das ist nur dann der Fall, wenn sie im ersten Verfahren erwirkt und im zweiten verwendet worden sind, nachdem der Pflichtige gemahnt und ihm eine Ermessensveranlagung oder eine Verurteilung wegen Verletzung von Verfahrenspflichten angedroht wurde (<ref-ruling> E. 2.6.2 S. 53).
2.3. Mit Blick auf Art. 6 EMRK können Beweismittel aus dem Steuerverfahren somit unter bestimmten Umständen und Bedingungen nicht im nachfolgenden Bussenverfahren verwendet werden (vgl. oben E. 2.2.1 u. 2.2.2). Das setzt aber zuerst einmal voraus, dass solche Beweismittel im Veranlagungsverfahren überhaupt erwirkt worden sind. Das ist hier nicht der Fall: Der Beschwerdeführer verweigerte die von ihm eingeforderte Mitwirkung und reichte keine Unterlagen ein. Mit dem Einspracheentscheid im Nachsteuerverfahren wurde das Strafsteuerverfahren eingestellt. Die Frage einer EMRK-widrigen Verwendung von Beweismitteln aus dem ersten Verfahren im Rahmen des zweiten konnte sich also gar nicht stellen.
2.4. Der "nemo tenetur"-Grundsatz gilt allein für das Steuerstrafverfahren. Es sind ihm dementsprechend keine Aussagen für die Gestaltung des Nachsteuerverfahrens zu entnehmen, und zwar unabhängig davon, ob dieses vor, parallel oder nach dem Steuerstrafverfahren durchgeführt wird. Aus dem Verbot des Selbstbelastungszwangs lässt sich also insbesondere keine "Vorwirkung" auf nichtstrafrechtliche Verfahren ableiten. Es ginge offensichtlich zu weit, den Grundrechtsschutz von Art. 6 Ziff. 1 EMRK auch auf dieses Verfahren auszudehnen und dem Steuerpflichtigen dadurch im Ergebnis zu ermöglichen, sich zumindest teilweise (wegen der Unzulässigkeit von Auflagen und/oder einer allfällig daran anschliessenden Ermessensveranlagung als Folge von deren Nichterfüllung) seiner Steuerpflicht zu entziehen.
2.5. Unbehelflich ist weiter der vom Beschwerdeführer erhobene Einwand, durch die vorgezogene oder parallele Führung eines Nachsteuerverfahrens werde es ihm verunmöglicht, im Bussenverfahren durch das freiwillige Einreichen von Beweismitteln tätige Reue zu üben, die zwingend zur Straffreiheit (bei Selbstanzeige) oder zu einer erheblichen Strafmilderung führen müsse. Hier wurde zwar ein Steuerstrafverfahren eröffnet, dann aber eingestellt. Somit hat der Beschwerdeführer kein rechtlich geschütztes Interesse mehr an der Beurteilung der von ihm aufgeworfenen Frage.
2.6. Soweit der Beschwerdeführer eine Verletzung von Bestimmungen des kantonalen Rechts geltend macht (vgl. insbesondere § 162 Abs. 1 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 [StG/ZH; LS 631.1]; in der Fassung vom 22. März 2010, in Kraft seit dem 1. Juli 2010), vermag er nicht darzutun, dass das kantonale Steueramt durch die kombinierte Führung von Nachsteuer- und Bussenverfahren die im kantonalen Recht vorgesehene Verfahrensordnung in geradezu willkürlicher Weise missachtet hätte (vgl. oben E. 1.2.2). Eine weitere Erörterung erübrigt sich.
2.7. Das angefochtene Urteil stimmt im Übrigen mit dem seither ergangenen (und zur Veröffentlichung bestimmten) Bundesrichtsurteil 2C_505/2017 vom 21. November 2018 überein.
2.7.1. Im dort zu beurteilenden Veranlagungsverfahren wurde der Beschwerdeführer zu keinem Zeitpunkt unter Strafandrohung veranlasst, Aussagen zu machen oder bestimmte Akten einzureichen, welche später im Strafverfahren hätten verwendet werden können. Ebenso wenig wurde in Aussicht genommen, eine Ermessensveranlagung vorzunehmen, wenn der Steuerpflichtige nicht bestimmte Belege beibringe. Ein Verstoss gegen das strafprozessuale und durch Art. 6 EMRK geschützte Verbot des Selbstbelastungszwangs war somit von vornherein auszuschliessen (E. 2.3.1). Die hypothetische Möglichkeit, dass die Behörden später im Strafverfahren die gültigen Gesetzesbestimmungen bzw. die anwendbaren Verfahrensgarantien missachten würden, konnte für das Veranlagungsverfahren nicht schädlich sein (E. 2.3.3).
2.7.2. Die Verfahrensvorschriften des Veranlagungsverfahrens sehen wohl keine Zwangsmassnahmen vor, stattdessen aber Mitwirkungspflichten, deren Verweigerung Auswirkungen auf die Beweislast haben kann. Wird der Steuerpflichtige nicht zur Mitwirkung gezwungen und trägt er bloss die Folgen davon, dass ein ihm obliegender Beweis nicht erbracht ist, so entspricht dies der Rechtslage, wie sie sich aus der materiellen Anwendung der Steuernormen ergibt. Ein EMRK-widriger Zwang zur Selbstbelastung liegt darin nicht. (E. 2.3.2).
2.7.3. Hier kommt - wie bereits hervorgehoben (vgl. oben E. 2.2 - 2.6, insb. E. 2.3) - eine Verletzung von Art. 6 EMRK ebenfalls nicht in Frage. Als Folge der durch den Beschwerdeführer verweigerten Mitwirkung fand ihm gegenüber zwar eine Ermessensveranlagung statt. Darin lag aber weder ein Verstoss im (Nach-) Steuerverfahren noch eine unzulässige Auswirkung auf das nachmalige Strafverfahren, da trotz Mitwirkungsdruck keine Beweismittel erwirkt wurden und das Bussenverfahren zu einer Einstellung kam, ohne dass in anderer Hinsicht unstatthafte Massnahmen erfolgt wären.
3.
Als unbegründet erweist sich schliesslich auch die Rüge der Verletzung des Rechtsverzögerungsverbots von <ref-law> (vgl. zu den massgebenden Kriterien für die Beurteilung dieser Frage: <ref-ruling> E. 4.4 S. 277; Urteil 2C_509/2016 vom 24. Mai 2017 E. 2.1).
Das hier vorgängig durchgeführte Steuerhoheitsverfahren wurde erst durch das Urteil des Bundesgerichts vom 26. April 2012 definitiv beendet (Urteil 2C_396/2011). Es ist somit ohne weiteres nachvollziehbar, dass das Kantonale Steueramt erst am 22. März 2013 das Nachsteuerverfahren für die Staats- und Gemeindesteuern der Perioden 2003 sowie 2004 eröffnete. Dass dieses Verfahren anschliessend nicht beförderlich durchgeführt worden wäre, macht der Beschwerdeführer nicht substanziiert geltend. Eine mit Blick auf <ref-law> zu beanstandende Verfahrensverschleppung ist zu verneinen.
4.
Die Beschwerde ist indessen aus einem anderen Grund teilweise gutzuheissen. Für die Nachsteuer der Periode 2003 ist per 31. Dezember 2018 die absolute Verjährung eingetreten (Art. 53 Abs. 3 StHG, § 161 Abs. 2 StG/ZH). Insoweit ist das vorinstanzliche Urteil aufzuheben, in Bezug auf das Jahr 2004 hingegen zu bestätigen.
5.
Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens, gemäss den für die beiden Perioden verfügten Nachsteuerbeträgen (vgl. oben Sachverhalt/A.), zu zwei Dritteln dem Beschwerdeführer aufzuerlegen; im Übrigen werden sie auf die Bundesgerichtskasse genommen (<ref-law>). Der Beschwerdeführer hat Anspruch auf eine reduzierte Parteientschädigung, ebenfalls zulasten der Bundesgerichtskasse (vgl. Art. 68 Abs. 1 u. 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird betreffend die Steuerperiode 2003 gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich, 2. Abteilung, vom 21. Februar 2018 insoweit aufgehoben. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 6'000.-- werden im Umfang von Fr. 4'000.- dem Beschwerdeführer auferlegt, darüber hinaus auf die Bundesgerichtskasse genommen.
3.
Dem Beschwerdeführer wird eine reduzierte Parteientschädigung von Fr. 2'000.-- ausgerichtet, die auf die Bundesgerichtskasse genommen wird.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 1. Februar 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter