Erwägungen:
1.
1.1. Gegenüber den Eheleuten A. und B.A._ erhob das Kantonale Steueramt Zürich mit einer am 21. Oktober 2013 zugestellten Verfügung für die Perioden 2008 bis 2010 Nachsteuern von Fr. 289'036.70 (Staats- und Gemeindesteuern) und Fr. 116'583.25 (direkte Bundessteuer). Dagegen wandten sich die Betroffenen am 14. Februar 2014 und ersuchten das Steueramt vergeblich, es sei in beiden Verfahren die versäumte Einsprachefrist wiederherzustellen und die ergangene Nachsteuerverfügung aufzuheben. Am 24. August 2015 trat das Steueramt sinngemäss auf die Einsprache nicht ein. Das Verwaltungsgericht des Kantons Zürich wies mit Urteil vom 27. Januar 2016 die für die Staats- und die direkte Bundessteuer bei ihm eingereichten Rechtsmittel ab, soweit es darauf eintrat.
1.2. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 4. März 2016 beantragen die Eheleute A._, das verwaltungsgerichtliche Urteil vom 27. Januar 2016 aufzuheben und die Sache zur Festsetzung der Nachsteuer an das Kantonale Steueramt Zürich zurückzuweisen.
1.3. Die Beschwerde ist im vereinfachten Verfahren gemäss <ref-law> zu behandeln. Deshalb sind auch keine Vernehmlassungen eingeholt worden und rechtfertigt es sich, auf die ansonsten gebotene Trennung zwischen Staats- und direkter Bundessteuer zu verzichten.
2.
2.1. Angefochten ist ein einziger, sowohl für die Staats- als auch die direkte Bundessteuer kantonal letztinstanzlich ergangener Endentscheid. Auf die dagegen gerichtete Beschwerde ist einzutreten (vgl. <ref-law>; siehe zu den sich dabei stellenden Fragen u.a. das Urteil 2C_371/2013 vom 18. Juli 2014 E. 1.2 in: StR 69/2014 S. 800), wobei das Bundesgericht zwei Verfahren eröffnet (hier: 2C_213/2016 für die Staats- und 2C_214/2016 für die direkte Bundessteuer).
2.2. Das Bundesgericht prüft unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht grundsätzlich nur die geltend gemachten Vorbringen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, wie die Vorinstanz ihn festgestellt hat (<ref-law>), und kann diesen - soweit entscheidrelevant - nur berichtigen oder ergänzen, falls er offensichtlich unrichtig oder in Verletzung wesentlicher Verfahrensrechte ermittelt wurde (<ref-law>). Die betroffene Person muss dartun, dass und inwiefern der festgestellte Sachverhalt bzw. die beanstandete Beweiswürdigung klar und eindeutig mangelhaft - mit anderen Worten willkürlich sind (<ref-law>; vgl. <ref-ruling> E. 1.4.3; <ref-ruling> E. 1.3).
3.
Das Verwaltungsgericht hat den Nichteintretensentscheid des Kantonalen Steueramts in Anwendung der massgeblichen Bestimmungen als rechtskonform geschützt (vgl. § 15 Abs. 1 der Verordnung vom 1. April 1998 zum Steuergesetz des Kantons Zürich [StG/ZH] vom 8. Juni 1997; Art. 48 Abs. 1 i.V.m. Art. 53 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14], Art. 133 Abs. 3 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11]). Es hat geurteilt, dass die Beschwerdeführer ihre Einsprache gegen die Nachsteuerverfügung verspätet eingereicht hatten, ohne eine hinreichende Verhinderung dartun zu können, aufgrund derer sie an der rechtzeitigen Einreichung der Einsprache verhindert gewesen wären.
3.1. Die Vorinstanz hat aufgrund der eingereichten Arztzeugnisse erwogen, dass der Beschwerdeführer in der nach Eingang der Nachsteuerverfügungen massgeblichen Zeit wohl gesundheitlich beeinträchtigt war, diese Beeinträchtigung indessen nicht so weit ging, ihn daran zu hindern, für die hier zu beurteilenden Steuerangelegenheiten einen Vertreter zu bestimmen.
Dagegen machen die Beschwerdeführer geltend, die Beeinträchtigung sei sehr wohl so weit gegangen, sogar eine solche Ernennung auszuschliessen. Ihre gesamten Vorbringen sind jedoch vom Ansatz her ungenügend, um die Aufhebung des verwaltungsgerichtlichen Urteils zu rechtfertigen. Denn die vor Bundesgericht beanstandeten Ausführungen im angefochtenen Urteil betreffen das Ausmass der krankheitsbedingten Verhinderung des Beschwerdeführers und somit die vorinstanzliche Beweiswürdigung in medizinischer Hinsicht. Diese hätte für das Bundesgericht nur dann keine Verbindlichkeit, wenn es den Beschwerdeführern gelänge, sie als geradezu offensichtlich unzutreffend darzutun (vgl. oben E. 2.2). Das vermögen sie indessen in keiner Weise. Stattdessen beschränken sich ihre Vorbringen darauf, dem Verwaltungsgericht ihre eigene, abweichende Auffassung zur medizinischen Fakten- und Beweislage entgegenzuhalten. Das erweist sich in jeder Hinsicht als unzureichend.
3.2. Ebenfalls nicht weiter eingegangen werden kann auf das erst vor Bundesgericht neu eingereichte zusätzliche Arztzeugnis vom 4. März 2016. Unabhängig davon, ob es ein unzulässiges Novum darstellt (vgl. <ref-law>), enthält es nichts, was die Beweiswürdigung des Verwaltungsgerichts als willkürlich erscheinen lassen könnte. Ohne Belang sind auch Äusserungen, welche der Bruder des Beschwerdeführers gegenüber den Medien gemacht haben soll.
3.3. Wenn sich aber die vorinstanzliche Beweiswürdigung für das Bundesgericht als verbindlich erweist (vgl. oben E. 2.2), dann ist nicht ersichtlich, wie die vom Verwaltungsgericht daraus gezogene rechtliche Schlussfolgerung, die Einsprache sei ohne hinreichende Verhinderung verspätet eingereicht worden, in irgendwelcher Weise gegen Bundesrecht verstossen würde.
3.4. Dann muss auch nicht weiter geprüft werden, inwiefern die Ehefrau während der hier massgeblichen Zeitspanne ihrerseits in der Lage war, für die Beschwerdeführer Einsprache zu erheben oder zumindest für die Ernennung eines Vertreters besorgt zu sein.
4.
4.1. Nach dem Gesagten sind die Verfahren zu vereinigen und die Beschwerden im Verfahren gemäss <ref-law> abzuweisen.
4.2. Bei diesem Ausgang der Verfahren werden die Beschwerdeführer unter Solidarhaft kostenpflichtig (Art. 65 f. BGG). Die Höhe der Gerichtskosten richtet sich einerseits nach dem Streitwert, berücksichtigt aber auch den geringen Schwierigkeitsgrad der Angelegenheit (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_213/2016 und 2C_214/2016 werden vereinigt.
2.
Betreffend die Staats- und Gemeindesteuern (Verfahren 2C_213/2016) wird die Beschwerde abgewiesen.
3.
Betreffend die direkte Bundessteuer (Verfahren 2C_214/2016) wird die Beschwerde abgewiesen.
4.
Die Gerichtskosten von insgesamt Fr. 6'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 30. Juni 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter