Sachverhalt:
A.
Im Februar 2012 verstarb der mit A._ (geb. B._) verheiratete B.A._. Er hinterliess als gesetzliche Erben seine Ehefrau und seine fünf Töchter, wobei die Ehefrau erbvertraglich auf die Beteiligung am Nachlass ihres Gatten verzichtet hatte. Mit Einreichung des Inventarfragebogens im Nachlass des Verstorbenen legte der Willensvollstrecker im Dezember 2012 unversteuerte Vermögenswerte und -erträge offen.
B.
Die Veranlagungen für die Steuerjahre 2010 und 2011 konnten im ordentlichen Verfahren vorgenommen werden. Für die Perioden zwischen 2004 und 2009 auferlegte das Kantonale Steueramt Zürich A.A._ mit Einspracheentscheid vom 31. Januar 2019 bei den Staats- und Gemeindesteuern eine Nachsteuer samt Zins von Fr. 202'525.25 und bei der direkten Bundessteuer eine solche von Fr. 45'392.10. Von einer Strafverfolgung wurde zufolge Selbstanzeige abgesehen. Dabei nahm das Steueramt an, dass die hinterzogenen Werte nicht dem Verstorbenen zuzurechnen seien, sondern seiner Ehefrau, weswegen die Nachsteuer zehn Jahre vor dem Hinschied und nicht nur drei Jahre umfasse. Für 2003 sei jedoch die absolute Verjährung eingetreten.
C.
Mit Urteil vom 21. August 2019 hat das Verwaltungsgericht des Kantons Zürich auf Rekurs und Beschwerde von A.A._ hin den Einspracheentscheid aufgehoben und geurteilt, das Kantonale Steueramt habe nicht mit der erforderlichen Bestimmtheit nachweisen können, dass die unversteuert gebliebenen Vermögenswerte der Ehefrau (anstelle des Gatten bzw. Erblassers) zuzurechnen seien.
D.
Am 30. September 2019 hat das Kantonale Steueramt Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Es stellt den Hauptantrag, das verwaltungsgerichtliche Urteil aufzuheben; A.A._ habe für die Perioden 2004 bis 2009 eine Nachsteuer (inkl. Zins) von Fr. 45'392.10 (direkte Bundessteuer) bzw. Fr. 166'123.95 (Kantons- und Gemeindesteuern des Kantons Zürich) zu entrichten. Eventualiter müsse sich die ordentliche Nachbesteuerung für die betroffenen Steuerjahre auf die Hälfte der hinterzogenen Vermögenswerte erstrecken.
E.
A.A._ beantragt, auf die Beschwerde nicht einzutreten; eventuell sei sie abzuweisen. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Es ist darauf verzichtet worden, von der Eidgenössischen Steuerverwaltung eine Vernehmlassung einzuholen.

Erwägungen:
I. Prozessuales
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 2 lit. d und Art. 90 BGG i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] und Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinn von <ref-law> (<ref-law>). Der Beschwerdeführer muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinn mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> i.V.m. Art. 42 Abs. 2 und 106 Abs. 2 BGG). Rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung genügt den Begründungs- und Rügeanforderungen nicht (vgl. <ref-ruling> E. 10.1 S. 445 mit Hinweisen).
II. Direkte Bundesssteuer
2.
2.1. Ergibt sich aufgrund von Tatsachen oder Beweismitteln, die der Steuerbehörde nicht bekannt waren, dass eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist, oder ist eine unterbliebene oder unvollständige Veranlagung auf ein Verbrechen oder ein Vergehen gegen die Steuerbehörde zurückzuführen, so wird die nicht erhobene Steuer samt Zins als Nachsteuer eingefordert (<ref-law>). Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach Ablauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben oder eine rechtskräftige Veranlagung unvollständig ist (<ref-law>). Das Recht, die Nachsteuer festzusetzen, erlischt 15 Jahre nach Ablauf der Steuerperiode, auf die sie sich bezieht (<ref-law>). Das Verfahren, das beim Tod des Steuerpflichtigen noch nicht eingeleitet oder noch nicht abgeschlossen ist, wird gegenüber den Erben eingeleitet oder fortgesetzt (<ref-law>). Alle Erben haben unabhängig voneinander Anspruch auf eine vereinfachte Nachbesteuerung der vom Erblasser hinterzogenen Bestandteile von Vermögen und Einkommen, wenn a. die Hinterziehung keiner Steuerbehörde bekannt ist; b. sie die Verwaltung bei der Feststellung der hinterzogenen Vermögens- und Einkommenselemente vorbehaltlos unterstützen; und c. sie sich ernstlich um die Bezahlung der geschuldeten Nachsteuer bemühen (Art. 153a Abs. 1 lit. a-c DBG). Die Nachsteuer wird für die letzten drei vor dem Todesjahr abgelaufenen Steuerperioden nach den Vorschriften über die ordentliche Veranlagung berechnet und samt Verzugszins nachgefordert (<ref-law>; intertemporal anwendbar auf Erbgänge nach dem Inkrafttreten im März 2008, vgl. <ref-law> e contrario).
2.2. In den letzten Jahren haben mehrere Urteile dem Bundesgericht die Gelegenheit gegeben, sich mit der vereinfachten Nachbesteuerung auseinanderzusetzen.
2.2.1. Der vereinfachten Nachbesteuerung unterliegen Vermögenswerte und Einkünfte, die der Erblasser hinterzogen hat (<ref-law>). Mit der Vereinfachung der Nachbesteuerung in Erbfällen und der Einführung der straflosen Selbstanzeige wollte der Gesetzgeber Anreize schaffen, dass Erben das vom Erblasser hinterzogene Vermögen und dessen Erträge der Legalität zuführen (Botschaft vom 18. Oktober 2006 zum Bundesgesetz über die Vereinfachung der Nachbesteuerung in Erbfällen und die Einführung der straflosen Selbstanzeige, BBl 2006 8796 und 8808 Ziff. 1.5). Dabei ist hinterzogen als "zu Unrecht nicht deklariert" zu verstehen, geht es doch bei <ref-law> (wie bei <ref-law>) um die objektive Seite der Steuerverkürzung (vgl. die Urteile 2C_116/2015 vom 30. September 2015 E. 2.2 in: ASA 84 S. 390; 2C_790/2015 vom 3. Mai 2016 E. 2.4.1 in: ASA 84 S. 840). Bei der Steuerhinterziehung handelt es sich um ein Sonderdelikt, d.h. nur die steuerpflichtige Person kann Täter sein. Weder die Nachkommen noch der überlebende Ehegatte, dessen Steuerfaktoren nicht betroffen sind, können Mittäter sein. Die gemeinsame Unterzeichnung der Steuererklärung durch die Ehegatten ändert daran nichts (<ref-law>; Urteile 2C_116/2015 E. 2.3.2; 2C_790/2015 E. 2.4.2)
2.2.2. Dem Gesetzestext kann hingegen kein Hinweis entnommen werden, dass der Gesetzgeber beabsichtigte, den Nachlass der vereinfachten Nachbesteuerung zu unterstellen (Urteile 2C_116/2015 E. 2.2; 2C_790/2015 E. 2.4.1). Mit der vereinfachten Nachbesteuerung von Erben gemäss <ref-law> wollte der Gesetzgeber nicht solche Erben privilegieren, die sich bereits in eigener Person gemäss Art. 175 (oder allenfalls Art. 177) DBG i.V.m. <ref-law> der vollendeten Steuerhinterziehung (oder allenfalls der Anstiftung, Gehilfenschaft oder Mitwirkung) schuldig gemacht haben und dafür gebüsst werden können (Urteil 2C_790/2015 E. 2.4.6).
Ein Erbe, der selber eine Steuerhinterziehung begangen hat, soll sich also nicht auf <ref-law> berufen dürfen. Es wäre mit der ratio legis nicht vereinbar, wenn der Tod des einen Ehegatten bewirken würde, dass die Strafbarkeit des Mittäters (für die gemeinsam begangene Steuerhinterziehung) entfällt bzw. dieser von einer privilegierten Nachbesteuerung profitieren könnte. Kommen im Rahmen einer vereinfachten Nachbesteuerung von nicht deklarierten Steuerfaktoren eines verheiratet gewesenen Erblassers ebenso nicht deklarierte Steuerfaktoren des überlebenden Ehepartners ans Licht, kann dieser hierfür nicht die vereinfachte Nachbesteuerung verlangen (Urteil 2C_790/2015 vom 3. Mai 2016 E. 2.4.6).
Beging der überlebende Ehegatte ebenfalls eine Steuerhinterziehung, so können dabei nur seine eigenen Steuerfaktoren betroffen sein, nicht aber diejenigen des Erblassers. Der überlebende Ehegatte kann in einem solchen Fall für die von ihm hinterzogenen Faktoren eine straflose Selbstanzeige stellen, muss aber danach im ordentlichen Verfahren für zehn Jahre Nachsteuern bezahlen (vgl. <ref-law>). In Bezug auf die nicht deklarierten Faktoren des verstorbenen Ehegatten kommt er aber wie alle anderen in den Genuss der vereinfachten Nachbesteuerung, weil er an dieser Hinterziehung nicht mitgewirkt hat. Dies gilt nicht nur für das ererbte, sondern auch für das güterrechtlich zugefallene Vermögen (Urteile 2C_116/2015 E. 2.3.2); 2C_790/2015 E. 2.4.2).
2.2.3. Im Bereich der Nachbesteuerung sind grundsätzlich die allgemeinen steuerrechtlichen Grundsätze zur Verteilung der Beweislast anwendbar. Der Nachweis für steuerbegründende oder -erhöhende Tatsachen obliegt der Steuerbehörde, derjenige für steuermindernde oder -ausschliessende Fakten grundsätzlich dem Steuerpflichtigen (vgl. u.a. <ref-ruling> E. 3.5 S. 252; <ref-ruling> E. 4 c/aa S. 266 und 273 E. 3 c/aa S. 284; Urteil 2C_807/2017 vom 30. Mai 2018 E. 4.3 in: ASA 87 S. 64).
Jeder Ehegatte ist im Steuereinschätzungsverfahren nur für seine eigenen Steuerfaktoren mitwirkungspflichtig. Die Pflichten des einzelnen Ehegatten beschränken sich darauf, seine Faktoren in der gemeinsamen Steuererklärung zu deklarieren und mit Unterschrift als vollständig und korrekt zu bestätigen. Die Ehegatten sind berechtigt, aber nicht verpflichtet, sich an der Ermittlung der Faktoren des anderen Ehegatten zu beteiligen. Dies wirkt sich auf die Steuerhinterziehung aus, wo in den einschlägigen Bestimmungen ausdrücklich festgehalten ist, dass jeder Ehegatte gemäss <ref-law> nur für die Hinterziehung seiner eigenen Steuerfaktoren gebüsst werden kann (Urteile 2C_116/2015 E. 2.5.2; 2C_790/2015 E. 2.4.3).
Um zu verhindern, dass die Witwe eines Pflichtigen, der Vermögenswerte der steuerlichen Erfassung entzogen hat, die vereinfachte Nachbesteuerung für sich in Anspruch nehmen kann, muss die Steuerbehörde nachweisen, dass die streitbetroffenen Vermögenswerte der Witwe statt dem verstorbenen Ehegatten und Erblasser gehörten (<ref-law>) oder zumindest, dass die Witwe und Erbin mit Absicht an der Steuerhinterziehung ihres verstorbenen Gatten bewusst mitwirkte. Dazu genügt nicht einfach, dass die Vermögenswerte sich auf einem Bankkonto befanden, das im Namen beider Eheleute eröffnet worden war. Im Übrigen kommt die Vermutung von <ref-law> zum Tragen: Wer behauptet, ein bestimmter Vermögenswert sei Eigentum des einen oder andern Ehegatten, muss dies beweisen (<ref-law>). Kann dieser Beweis nicht erbracht werden, so wird Miteigentum beider Ehegatten angenommen (Abs. 2; zum Ganzen: Urteil 2C_807/2017 E. 4.4).
3.
Auf die oben genannten Bestimmungen (vgl. E. 2.1) hat sich das Verwaltungsgericht gestützt und erwogen, dass die Erhebung einer Nachsteuer gegenüber der Beschwerdegegnerin nur dann gerechtfertigt wäre, wenn ihr die hinterzogenen Vermögenswerte mit hinreichender Bestimmtheit zugerechnet werden könnten. Das sei aufgrund der vom Gericht durchgeführten freien Beweiswürdigung jedoch zu verneinen.
3.1. Zur notwendigen Bestimmtheit des Beweises hat die Vorinstanz festgehalten, grundsätzlich bedürfe es im direktsteuerlichen Veranlagungsverfahren keiner absoluten Gewissheit; es genüge, dass die Veranlagungsbehörde nach erfolgter Beweiswürdigung und aufgrund objektiver Gesichtspunkte mit an Sicherheit grenzender Wahrscheinlichkeit vom Vorliegen eines rechtserheblichen Sachumstands überzeugt sei. Für den Fall, dass rechtserhebliche Tatsachen auch nach erfolgter Beweiswürdigung als unerwiesen zu gelten hätten, stelle sich die Rechtsfrage nach der Beweislast; diese obliege grundsätzlich der Veranlagungsbehörde für die steuerbegründenden und -erhöhenden Tatsachen, der steuerpflichtigen Person für die steueraufhebenden und -mindernden Tatsachen (vgl. E. 4.5.1 u 4.5.2 des angefochtenen Urteils, m.H. auf die Rechtsprechung und die Lehre).
3.2. Die Vorinstanz hat die Auffassung vertreten, die streitbetroffenen beiden Depotkonten bei zwei verschiedenen schweizerischen Banken hätten auf eine jederzeit widerrufbare Familienstiftung nach liechtensteinischem Recht gelautet; eine solche Stiftung sei steuerrechtlich nicht anzuerkennen und ihr Vermögen der sie kontrollierenden Person, in der Regel dem Stifter, zuzurechnen (E. 4.6.1); als Gründer und Stifter sei hier der verstorbene Ehemann aufgetreten; dieser sei gemäss dem Beistatut der Stiftung deren "zeitlebens alleiniger Erstbegünstigter"; er habe während den hier interessierenden Perioden die Stiftung beherrscht; ihm seien somit die massgeblichen Vermögenswerte zuzurechnen (gewesen) (E. 4.6.2).
3.3. Damit in Widerspruch stehen gemäss dem Verwaltungsgericht Unterlagen, welche von den beiden Banken im Zusammenhang mit der Abklärung der wirtschaftlichen Berechtigung an den nicht deklarierten Vermögenswerten einverlangt wurden. Beide Banken hätten die Ehegattin und Beschwerdegegnerin als wirtschaftlich Berechtigte genannt, in weiteren Schreiben aber präzisiert, mit einer solchen Berechtigung sei keinerlei Verfügungsberechtigung einher gegangen; auch habe die Betroffene keine Verfügungshandlungen vorgenommen und sei sie weder im einen noch im anderen Fall gegenüber der Bank in irgendeiner Weise in Erscheinung getreten (E. 4.6.2).
3.4. Im Lichte der wenigen und gegenläufigen Indizien könne nicht mit an Sicherheit grenzender Wahrscheinlichkeit davon ausgegangen werden, dass die zu Unrecht nicht deklarierten Werte der Ehefrau zuzurechnen seien; vielmehr erscheine es mindestens gleich wahrscheinlich, dass die Werte jedenfalls in den streitbetroffenen Perioden unbeschwert der Stiftung gehört hätten; in diesem Fall seien sie steuerlich dem verstorbenen Ehemann als deren Stifter zuzuweisen; bleibe somit die Zuordnung der Werte an die Gattin als steuerbegründende Tatsache unbewiesen, so habe das Steueramt die Folgen der Beweislosigkeit zu tragen (E. 4.6.3).
4.
Dagegen vertritt das Kantonale Steueramt in seiner Beschwerde vor Bundesgericht mit seinem Hauptantrag den Standpunkt, die massgeblichen Vermögenswerte seien der Beschwerdegegnerin zuzuweisen, weshalb hier die vereinfachte Nachbesteuerung gemäss <ref-law> ausscheide und stattdessen <ref-law> zur Anwendung gelangen müsse.
4.1. Mit dem Verwaltungsgericht ist der Beschwerdeführer zumindest in Folgendem einig: Die zivilrechtliche Berechtigung an den Vermögenswerten auf den beiden Bankkonten kam an sich der liechtensteinischen Stiftung zu; das kann aber nicht entscheidend sein; stattdessen ist das Stiftungsvermögen hier steuerlich über den sog. Durchgriff der hinter der Stiftung stehenden natürlichen Person, in der Regel dem Errichter oder Begünstigten, zuzurechnen.
Allerdings erachtet das Kantonale Steueramt als aktenwidrig, wenn der Ehemann und Erblasser gemäss der vorinstanzlichen Einschätzung als Gründer und Stifter aufgetreten sein soll, der während den hier interessierenden Perioden die Stiftung beherrscht habe. Vielmehr gibt es kein einziges Dokument, das den Gatten für die streitbetroffene Zeitspanne zwischen 2004 und 2009 mit den auf den beiden Depotkonten befindlichen Vermögenswerten in Verbindung bringen würde: Unbeantwortet blieb die Frage nach dem Gründer und dem Begünstigten sowie nach allfälligen wirtschaftlich Berechtigten namentlich in den hier wesentlichen Statuten von 1974, während ein in diesen Statuten erwähntes bzw. angekündigtes Beistatut, das gerade solche Punkte üblicherweise klärt, unterblieb. Im September 2011 wurde dann erst das einzige für die Stiftung bestehende Beistatut erarbeitet; es bezeichnet den Gatten als zeitlebens alleinigen Erstbegünstigten. Keinerlei Aussagekraft kommt weiter einer von der liechtensteinischen Treuhandgesellschaft der Stiftung im Jahr 2001 gemachten Angabe zu, wonach - abstrakt und unspezifisch - der Ehemann "an den Vermögenswerten" (der Stiftung) wirtschaftlich berechtigt sei, was sich aber in keiner irgendwie hinreichender Weise auf die beiden Bankkonten bezog.
4.2. Auf Anfrage hin bezeichneten die beiden schweizerischen Banken im November 2013 (die zweite Bank u.a. unter Berufung auf ein sog. A-Formular aus dem Jahr 1992) die Beschwerdegegnerin als wirtschaftlich Berechtigte an den auf dem jeweiligen Depotkonto befindlichen Vermögenswerten. Das hatte gemäss dem Beschwerdeführer insbesondere für die streitbetroffene Zeitspanne zwischen 2004 und 2009 Gültigkeit.
Nun mögen die zwei Banken in der Folge wohl präzisiert haben, dass die Beschwerdegegnerin in Bezug auf die Konten zu keinem Zeitpunkt Verfügungshandlungen vorgenommen hatte und auch sonst in keiner Weise aufgetreten war, ebenso wenig wie ihr eine Unterschrifts-, Auskunfts- oder Verfügungsberechtigung zukam. Dadurch hat sich für das Kantonale Steueramt aber nichts am Umstand der wirtschaftlichen Berechtigung der Ehefrau geändert. Zudem ergibt sich daraus nichts zugunsten einer Berechtigung des Erblassers und Gatten, der gemäss den genannten Dokumenten ebenfalls nicht unterschrifts-, auskunfts- oder verfügungsberechtigt war und auch keinerlei Verfügungshandlungen in Bezug auf die beiden Konten vornahm.
4.3. Wenn die wirtschaftliche Berechtigung an den hinterzogenen Vermögenswerten der Beschwerdegegnerin zuzuweisen war, so ergibt sich daraus für das Kantonale Steueramt, dass die erleichterte Nachbesteuerung gemäss <ref-law> der überlebenden Ehegattin verweigert werden muss und stattdessen <ref-law> anzuwenden ist.
5.
Nach Prüfung des angefochtenen Urteils und der Beschwerdeschrift des Kantonalen Steueramtes ist darauf zu schliessen, dass die Beurteilung des Verwaltungsgerichts gegen Bundesrecht verstösst. Das beruht allerdings nicht auf Gründen, die vom Beschwerdeführer mit seinem Hauptantrag geltend gemacht werden, sondern auf solchen, die sich aus dessen Eventualbegründung ergeben, im Wesentlichen jedoch direkt aus der bisherigen bundesgerichtlichen Rechtsprechung zu <ref-law> (vgl. oben E. 2.2).
5.1. Es entspricht dem Willen des Gesetzgebers und stimmt mit der Rechtsprechung überein, dass die Witwe sich immer dann nicht auf <ref-law> berufen kann, wenn sie sich in eigener Person der vollendeten Steuerhinterziehung (oder allenfalls der Anstiftung, Gehilfenschaft oder Mitwirkung) schuldig gemacht hat. In diesem Sinne soll der Tod des Ehemannes nicht bewirken, dass die Strafbarkeit der Gattin als (Mit-) Täterin entfällt (vgl. oben E. 2.2.2).
Wenn aber die Steuerhinterziehung ein Sonderdelikt darstellt, so kann die überlebende Ehefrau nur dann (Mit-) Täterin sein, wenn ihre eigenen Steuerfaktoren bzw. Vermögenswerte betroffen sind. Die gemeinsame Unterzeichnung der Steuererklärung durch die Eheleute ändert daran nichts (vgl. oben E. 2.2.1). Damit stimmt überein, dass jeder Ehepartner im Steuereinschätzungsverfahren nur für seine eigenen Steuerfaktoren mitwirkungspflichtig ist (vgl. oben E. 2.2.3).
5.2. Wenn das Kantonale Steueramt hier also verhindern will, dass die überlebende Ehegattin die vereinfachte Nachbesteuerung für sich in Anspruch nehmen kann, muss es als steuerbegründende Tatsache nachweisen, dass die hinterzogenen Vermögenswerte der Witwe - statt dem verstorbenen Ehegatten und Erblasser - gehörten.
5.2.1. Dazu genügt nicht einfach darzutun, dass die Vermögenswerte sich auf einem Bankkonto befunden hätten, das im Namen beider Eheleute eröffnet worden wäre (vgl. oben E. 2.2.3). Geht es aber - wie hier - um die Zuweisung der Vermögenswerte entweder an den verstorbenen Ehegatten oder an die Witwe, so kommt die Vermutung von <ref-law> zum Tragen: Lässt sich nicht rechtsgenügend belegen, dass die genannten Werte Eigentum des einen oder anderen Ehegatten waren, so ist Miteigentum beider anzunehmen (vgl. oben E. 2.2.3).
5.2.2. Vorliegend mag dem Verwaltungsgericht insofern zu folgen sein, als die massgeblichen Vermögenswerte nicht mit der erforderlichen Bestimmtheit als der Beschwerdegegnerin gehörend bezeichnet werden können. Ebenso wenig lässt sich jedoch hinreichend belegen, dass die Gelder auf den beiden Konten dem verstorbenen Ehegatten und nur ihm allein zuzuweisen gewesen wären. Im Einklang mit der Vermutung von <ref-law> ist von Miteigentum auszugehen und somit von einer gemeinsam begangenen Hinterziehung an den massgeblichen Werten. Somit sind die eigenen Steuerfaktoren der Beschwerdegegnerin betroffen und kann sie sich nicht auf die vereinfachte Nachbesteuerung von <ref-law> berufen.
5.2.3. Zwar kann gegebenenfalls sogar sein, dass die Beschwerdegegnerin zu Lebzeiten ihres Ehemanns nichts von der ganzen Steuerhinterziehung gewusst haben sollte. Darauf kann es indessen hier - bei der ausschliesslich vorzunehmenden Prüfung der objektiven Seite der Steuerverkürzung - nicht ankommen. Es geht um die Zuweisung der hinterzogenen Vermögenswerte und die dabei - im Falle ungenügender Nachweisbarkeit von Alleineigentum eines der beiden Ehegatten - bundesrechtlich vorgeschriebenen Zuweisungsregeln. Deren Ergebnis hat die Beschwerdeführerin sich anrechnen zu lassen. Damit stimmt überein, wenn das Bundesgericht zu <ref-law> allgemein geurteilt hat, dass das Nachsteuerverfahren kein schuldhaftes Verhalten der steuerpflichtigen Person voraussetzt (vgl. das Bundesgerichtsurteil 2C_458/2014 vom 26. März 2015 E. 2.1 u. 3.3 in: StE 2015 B 97.41 Nr. 29).
5.2.4. Daraus ergibt sich im Sinne eines Zwischenergebnisses, dass alle hier wesentlichen Vermögenswerte gemäss der Beweisregel von <ref-law> der Beschwerdegegnerin (im Miteigentum) zuzuordnen sind.
5.3. Was die Beschwerdegegnerin dagegen vorbringt, vermag ein anderes Ergebnis nicht zu rechtfertigen.
5.3.1. Sie wendet vorab ein, die ganzen Ausführungen des Kantonalen Steueramtes zur wirtschaftlichen Berechtigung würden rechtlich unsinnige Behauptungen darstellen. Das zivilrechtliche Eigentum an den beiden Depotkonten habe unstreitig bei der Stiftung gelegen; die Verfügungs- und Auskunftsberechtigung bezüglich des Stiftungsvermögens sei somit eben gerade nicht dem diskretionsinteressierten wirtschaftlichen Stifter (und lebzeitig Erstbegünstigten) oder gar den Destinatären zugekommen, sondern dem letztlich weisungsgebundenen, insoweit treuhänderisch agierenden Stiftungsrat; es sei weder nötig noch rechtlich möglich, dass die Eheleute über das bankverwaltete Vermögen der Stiftung rechtlich hätten verfügen können.
Diese Sichtweise lässt ausser Acht, dass die liechtensteinische Stiftung eine in der Schweiz unzulässige Familienstiftung darstellte und das Stiftungsvermögen somit steuerlich über den sog. Durchgriff der hinter der Stiftung stehenden natürlichen Person zuzurechnen war. Hier stand einzig eine (wirtschaftliche) Berechtigung entweder des verstorbenen Ehemannes oder aber der überlebenden Gattin zur Diskussion, was aber im einen wie im anderen Fall nur ungenügend nachgewiesen werden kann, so dass stattdessen Miteigentum anzunehmen ist.
5.3.2. Hinsichtlich der verwaltungsgerichtlichen Würdigung zur (wirtschaftlichen) Berechtigung an den Vermögenswerten vertritt die Beschwerdegegnerin die Auffassung, es handle sich um Fragen der Beweiswürdigung. Da es dem Kantonalen Steueramt nicht gelinge, die diesbezüglichen Feststellungen des Verwaltungsgerichts als geradezu offensichtlich unrichtig erscheinen zu lassen, seien sie für das Bundesgericht verbindlich (vgl. oben E. 1.2). Das habe umso mehr zu gelten, als der Beschwerdeführer hier (nur) neue Tatsachen bzw. Beweismittel vorbringe.
Fehl geht zuerst einmal das Argument der Beschwerdegegnerin, bei den in der Beschwerdeschrift vorgebrachten Punkten handle es sich es um unzulässige Noven im Sinne von <ref-law>, so dass auf die Beschwerde gesamthaft nicht eingetreten werden könne. Da die Beschwerde aber aus anderen Gründen gutzuheissen ist, muss dieser Punkt nicht weiter diskutiert werden.
Ebensowenig handelt es sich hier um eine für das Bundesgericht verbindliche Beweiswürdigung des Verwaltungsgerichts. Vielmehr geht es darum, dass die Vorinstanz eine sich aus dem Bundeszivilrecht ergebende Beweisregel missachtet hat, weshalb seiner rechtlichen Würdigung des Falles nicht gefolgt werden kann und die Beschwerdegegnerin grundsätzlich gemäss <ref-law> nachzubesteuern ist.
5.4. Die Beschwerde kann allerdings nur im Umfang des Eventualantrags gutgeheissen werden.
5.4.1. Der Beschwerdeführer bezieht sich eventualiter auf die spezifische Rechtsprechung des Bundesgerichts und insbesondere auf die Beweisregel von <ref-law> (vgl. oben E. 2.2.3 u. 5.2). Zutreffend argumentiert er, dass daraus auf ein Miteigentum der Ehefrau an den gesamten hier massgeblichen Vermögenswerten zu schliessen ist. Dann zitiert er eine präzisierende Lehrmeinung, die namentlich in Kommentaren zu kantonalen Steuergesetzen zu finden ist: "Bei Gütern oder Vermögenswerten, die sich im Miteigentum befinden, ist deswegen eine hälftige Teilung vorzunehmen mit der Folge, dass ein Teil davon im vereinfachten Verfahren und der andere Teil des gleichen Vermögenswertes im ordentlichen Verfahren nachbesteuert wird." (vgl. DANIEL LOOSER, in: Kommentar DBG, 3. Aufl. 2017, Rz 6 zu <ref-law>, m.w.H.).
5.4.2. Dieser präzisierende Bezug auf die Konsequenz des Miteigentums erweist sich hier als zutreffend. Allgemein ist Miteigentum die Form des gemeinschaftlichen Eigentums, welche kein vorbestehendes Gemeinschaftsverhältnis voraussetzt und sich hauptsächlich durch ein Individualrecht an der Quote auszeichnet. Im Einklang mit dieser Form des Eigentums steht nicht nur die Beweisregel von <ref-law>, sondern auch die daraus für Sachverhalte wie den vorliegenden gezogene Schlussfolgerung, dass die Hälfte der massgeblichen Vermögenswerte (als diejenigen des Ehegatten und Erblassers) mit der vereinfachten, sich auf drei Steuerjahre beschränkten Nachbesteuerung erfasst werden kann, die andere Hälfte aber der ordentlichen, zehnjährigen Nachbesteuerung zu unterwerfen ist.
Dabei kann offen gelassen werden, ob sich eine solche Lösung für alle Formen des Miteigentums, gegebenenfalls auch ausserhalb eines Eheverhältnisses und unabhängig von der Beweisregel von <ref-law>, rechtfertigt. Ebenfalls ist nicht weiter zu erörtern, ob eine hälftige Aufteilung zwischen vereinfachtem und ordentlichem Nachsteuerverfahren schon unter den Umständen des oben wiedergegebenen Falles 2C_807/2017 hätte berücksichtigt werden können bzw. müssen.
Angesichts des hier zu beurteilenden Sachverhalts erweist sich die hälftige Aufteilung auf jeden Fall als sachgerecht: Es mag zutreffend sein, wenn das Verwaltungsgericht festgehalten hat, es sei ungefähr gleich wahrscheinlich, dass die Vermögenswerte gesamthaft dem Ehemann oder aber der Gattin zuzurechnen seien (vgl. oben E. 3.4). Wenn unter solchen Umständen die Vermutung von <ref-law> dazu führen sollte, dass die vereinfachte Nachbesteuerung für die Gesamtheit der hinterzogenen Werte ausgeschlossen wäre, so könnte damit die Gefahr verbunden sein, dass der Anwendungsbereich von <ref-law> (allzu) stark eingeschränkt würde, denn in einer Ehe lässt sich das sachenrechtliche Alleineigentum eines der Ehegatten oft nur ungenügend nachweisen. Eine quotenmässig hälftige Aufteilung zwischen vereinfachtem und ordentlichem Nachsteuerverfahren erscheint gerade in Fällen wie dem vorliegendem als angemessene Korrekturmöglichkeit.
6.
6.1. Das führt zur Gutheissung der Beschwerde betreffend die direkte Bundessteuer, soweit die Steuerjahre 2005 bis 2009 betroffen sind. In diesem Ausmass und im Einklang mit dem Eventualantrag des Beschwerdeführers ist das angefochtene Urteil aufzuheben. Die Beschwerdegegnerin wird dazu verpflichtet, für die besagten Perioden und die direkte Bundessteuer eine Nachsteuer (samt Zins) von Fr. 20'124.-- zu entrichten.
6.2. Gemäss <ref-law> verjährt das Recht, eine Nachsteuer zu erheben, nach 15 Jahren absolut. Diese Verjährung ist für das Steuerjahr 2004 per Ende 2019 eingetreten, was von Amtes wegen berücksichtigt werden muss. Insofern ist die Beschwerde abzuweisen.
III. Kantons- und Gemeindesteuern
7.
Die hier in Bezug auf die Staatssteuer massgeblichen Bestimmungen (Art. 53 u 53a StHG; § 160 ff. des Steuergesetzes des Kantons Zürich vom 8. Juni 1997; StG/ZH) stimmen mit denjenigen zur direkten Bundessteuer überein. Deren Anwendung muss somit zum gleichen Ergebnis führen: Die Beschwerde ist für die Steuerjahre 2005 bis 2009 im Sinne des Eventualantrags des Beschwerdeführers gutzuheissen und das angefochtene Urteil insofern aufzuheben; die Beschwerdegegnerin hat für diese Perioden eine Nachsteuer (inkl. Zins) von Fr. 72'251.40 zu entrichten. Hinsichtlich der Periode 2004 ist die Beschwerde wegen absoluter Verjährung (vgl. § 161 StG/ZH) abzuweisen.
IV. Kosten- und Entschädigungsfolgen
8.
Bei diesem Ausgang des Verfahrens obsiegt der Beschwerdeführer - gemessen an den mit seinem Hauptantrag geltend gemachten Beträgen - im Umfang von etwas weniger als deren Hälfte. Dementsprechend sind die Kosten- und Entschädigungsfolgen (zulasten des Vermögensinteressen wahrnehmenden Kantons Zürich) zu regeln (vgl. Art. 65 f. u. 68 BGG). In gleichem Sinne wird die Vorinstanz neu über die Folgen des kantonalen Verfahrens zu befinden haben.

Demnach erkennt das Bundesgericht:
1.
Betreffend die direkte Bundessteuer wird die Beschwerde für die Steuerjahre 2005 bis 2009 gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 21. August 2019 insofern aufgehoben; die Beschwerdegegnerin wird verpflichtet, für diese Perioden eine Nachsteuer (samt Zins) von Fr. 20'124.-- zu entrichten. In Bezug auf das Steuerjahr 2004 wird die Beschwerde abgewiesen.
2.
Betreffend die Kantons- und Gemeindesteuern des Kantons Zürich wird die Beschwerde für die Steuerjahre 2005 bis 2009 gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 21. August 2019 insofern aufgehoben; die Beschwerdegegnerin wird verpflichtet, für diese Perioden eine Nachsteuer (samt Zins) von Fr. 72'251.40 zu entrichten. In Bezug auf das Steuerjahr 2004 wird die Beschwerde abgewiesen.
3.
Die Gerichtskosten von Fr. 5'000.-- werden je hälftig dem Kanton Zürich und der Beschwerdegegnerin auferlegt.
4.
Der Kanton Zürich hat der Beschwerdegegnerin eine reduzierte Parteientschädigung von Fr. 2'500.-- zu entrichten.
5.
Die Sache wird zur Neuverlegung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens an das Verwaltungsgericht des Kantons Zürich zurückgewiesen.
6.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. März 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter