Sachverhalt:
A.
A.a. A.A._ hielt als Alleineigentümer der C._ AG (nach dem späteren Verkauf in D._ AG umbenannt) deren Aktien in seinem Privatvermögen. 1999 kaufte die D._ AG drei Grundstücke für insgesamt Fr. 3.3 Mio. Am 23. Juni 2004 begründete sie auf der Teilfläche eines der drei Grundstücke ein selbständiges und dauerndes Baurecht zugunsten der E._ AG (Baurechtszins Fr. 15.- pro m2; Laufzeit bis 23. Juni 2034). Im Hinblick auf den Verkauf seiner Beteiligung an der D._ AG führte A.A._ im Herbst 2009 Verhandlungen mit der F._ Holding AG. Dabei bestand Einigkeit zwischen den Parteien, dass die drei Grundstücke auch nach einem Verkauf der D._ AG im (indirekten) Eigentum von A.A._ bleiben sollten; der D._ AG sollte jedoch auch für die Zeit nach dem Verkauf für die Absicherung ihres Nutzungsrechts an den Grundstücken ein Baurecht eingeräumt werden. Am 17. Dezember 2009 begründete die D._ AG auf der noch nicht belasteten Restfläche des bereits baurechtsbelasteten Grundstücks sowie auf den beiden anderen 1999 erworbenen Grundstücken ein Baurecht zu ihren eigenen Gunsten (Baurechtszins ebenfalls Fr. 15.- pro m2; Laufzeit 50 Jahre). Gleichentags veräusserte die D._ AG die drei Grundstücke an die G._ Immobilien AG, eine ebenfalls von A.A._ beherrschte Schwestergesellschaft der D._ AG, zum Preis von insgesamt Fr. 2.3 Mio. Am 26. Januar 2010 veräusserte sodann A.A._ per 1. Januar 2010 seine Beteiligung an der D._ AG für Fr. 27 Mio. an die F._ Holding AG.
A.b. Im Zusammenhang mit der Veranlagung der D._ AG für die direkte Bundessteuer der Steuerperiode 1. Januar bis 31. Dezember 2009 gelangte das Steuerrekursgericht des Kantons Zürich am 31. Oktober 2017 zum Ergebnis, dass der Verkauf der Liegenschaften an die G._ Immobilien AG eine verdeckte Gewinnausschüttung darstelle. Die überhöhte Leistung der D._ AG an ihre Schwestergesellschaft habe in den baurechtsbelasteten Grundstücken sowie den überhöhten Baurechtszinsen von Fr. 15.- pro m2 bestanden. Nach Einholung eines Gutachtens (sowie eines Nachtragsgutachtens) legte das Gericht die verdeckte Gewinnausschüttung masslich auf Fr. 9.95 Mio. fest. Dieses Urteil erwuchs in Rechtskraft.
A.c. In der Veranlagung für die direkte Bundessteuer 2009 sowie der Einschätzung für die Staats- und Gemeindesteuern 2009 der Eheleute A._, beide vom 28. Mai 2018, rechnete das kantonale Steueramt den Betrag von Fr. 9.95 Mio. als geldwerte Leistung auf.
B.
Eine Einsprache der Eheleute A._ gegen die Veranlagung bzw. Einschätzung wies das kantonale Steueramt sowohl für die Staats- und Gemeindesteuern als auch für die direkte Bundessteuer am 24. Juli 2019 ab. Eine Beschwerde bzw. einen Rekurs der Eheleute A._ gegen den Einspracheentscheid sowohl mit Bezug auf die Staats- und Gemeindesteuern als auch hinsichtlich der direkten Bundessteuer wies das Steuerrekursgericht am 10. März 2020 ab. Eine Beschwerde der Eheleute A._ gegen dieses Urteil blieb ebenfalls erfolglos. Am 22. Juli 2020 wies das Verwaltungsgericht des Kantons Zürich die Beschwerde sowohl mit Bezug auf die direkte Bundessteuer als auch mit Bezug auf die Staats- und Gemeindesteuern ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 14. September 2020 beantragen A.A._ und B.A._ dem Bundesgericht, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache zum Neuentscheid an das kantonale Steueramt zurückzuweisen. Eventualiter sei die Sache zum Neuentscheid an die Vorinstanz oder eine andere Behörde zurückzuweisen oder das steuerbare Einkommen für die direkte Bundessteuer 2009 auf Fr. 1'912'800.-- und für die Staats- und Gemeindesteuern 2009 auf Fr. 2'289'200.-- (zum Satz von Fr. 2'799'500.--) sowie der Ertrag aus qualifizierten Beteiligungen auf Fr. 2'194'500.-- festzusetzen. Das Verwaltungsgericht, das Steueramt des Kantons Zürich und die Eidgenössische Steuerverwaltung (bezüglich der direkten Bundessteuer) schliessen auf Abweisung der Beschwerde. Am 1. Dezember 2020 haben A.A._ und B.A._ nochmals Stellung genommen.

Erwägungen:
1.
1.1. Die Vorinstanz hat ein einziges Urteil für die Staats- und Gemeindesteuern sowie für die direkte Bundessteuer erlassen, was zulässig ist, soweit die zu entscheidenden Rechtsfragen im Bundesrecht und im harmonisierten kantonalen Recht gleich geregelt sind (<ref-ruling> E. 1.2; <ref-ruling> E. 1.3.1; Urteil 2C_613/2020 vom 3. Dezember 2020 E. 1.3). Dies ist hier der Fall für die Frage nach Vorliegen und Umfang einer verdeckten Gewinnausschüttung bzw. einer geldwerten Leistung an den Beteiligten (vgl. zur Terminologie Urteil 2C_578/2019 vom 31. März 2020 E. 3.2 m.H.) im Zusammenhang mit dem Verkauf der drei der D._ AG gehörenden baurechtsbelasteten Grundstücke an die G._ Immobilien AG, wobei dieser Verkauf seinerseits im Zusammenhang mit dem Verkauf der D._ AG an die F._ Holding AG erfolgte. Unter diesen Umständen ist den Beschwerdeführern nicht vorzuwerfen, nicht zwei getrennte Beschwerden eingereicht zu haben; aus ihrer Eingabe geht deutlich hervor, dass sie beide Steuerarten betrifft (<ref-ruling> E. 1.2; <ref-ruling> E. 1.3.3; Urteil 2C_613/2020 vom 3. Dezember 2020 E. 1.3).
1.2. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid über die direkte Bundessteuer sowie die kantonalen Steuern. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) und Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen. Die Beschwerdeführer sind gestützt auf <ref-law> zur Beschwerde legitimiert. Auf ihr frist- und formgerecht eingereichtes Rechtsmittel ist einzutreten (Art. 42 und 100 BGG).
1.3. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und Art. 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Vorbringen, sofern allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 m.H.). Die Verletzung kantonalen und interkantonalen Rechts sowie der Grundrechte untersucht es in jedem Fall nur insoweit, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 2.2; <ref-ruling> E. 2.2; <ref-ruling> E. 1.4.2).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Diese Sachverhaltsfeststellungen können von Amtes wegen oder auf Rüge hin berichtigt werden, wenn sie offensichtlich unrichtig, unvollständig oder in Verletzung wesentlicher Verfahrensrechte ermittelt wurden und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 105 Abs. 2 und Art. 97 Abs. 1 BGG; <ref-ruling> E. 1.2). Tatfrage ist auch die Beweiswürdigung (<ref-ruling> E. 3). Die Anfechtung der vorinstanzlichen Feststellungen unterliegt der qualifizierten Rüge- und Begründungsobliegenheit (<ref-ruling> E. 4.1). Wird die Beschwerde diesen Anforderungen nicht gerecht, bleibt es beim Sachverhalt, wie er von der Vorinstanz festgestellt wurde (<ref-ruling> E. 1.3.1).
2.
2.1. Die Beschwerdeführer werfen der Vorinstanz zunächst vor, sie habe ihren Anspruch auf rechtliches Gehör verletzt, indem sie eine Verletzung der Begründungspflicht im Einspracheverfahren zwar bejaht, diese aber als im Rekursverfahren geheilt betrachtet habe. Diese Rüge ist angesichts der formellen Natur des Gehörsanspruchs vorweg zu behandeln (<ref-ruling> E. 5.3; <ref-ruling> E. 2.2).
2.2. Während das Steuerrekursgericht das Vorliegen einer Verletzung des Anspruchs der Beschwerdeführer auf rechtliches Gehör durch einen ungenügend begründeten Einspracheentscheid noch verneint hatte, hat die Vorinstanz festgestellt, der Einspracheentscheid sei unzureichend begründet gewesen, indem das kantonale Steueramt sich mit dem Vorbringen der Beschwerdeführer, wonach ein wesentlicher Teil der geldwerten Leistung nicht an sie, sondern an die F._ Holding AG geflossen sei, überhaupt nicht auseinandergesetzt habe. Entgegen der Auffassung der Beschwerdeführer habe das kantonale Steueramt diesen Fehler indessen in der Rekursantwort korrigiert, indem es darin zu dem entsprechenden Einwand der Beschwerdeführer Stellung genommen habe. Damit sei die Gehörsverletzung durch das kantonale Steueramt geheilt worden (angefochtener Entscheid E. 2.4).
2.3. Es kann offenbleiben, ob das kantonale Steueramt sich in der Rekursantwort ausreichend mit dem Argument der Beschwerdeführer betreffend eine zumindest teilweise an die F._ Holding AG ausgerichtete geldwerte Leistung auseinandergesetzt hat und damit eine ausreichende Begründung für den Einspracheentscheid nachgeschoben hat. Jedenfalls war es den Beschwerdeführern möglich, im Rekursverfahren und hernach auch im Verfahren vor Verwaltungsgericht den entsprechenden Einwand vorzutragen. Das Steuerrekursgericht und in der Folge die Vorinstanz haben sich denn auch ausführlich mit dem Vorbringen der Beschwerdeführer, wonach ein Teil der geldwerten Leistung an die F._ Holding AG geflossen sei, auseinandergesetzt. Da das Steuerrekursgericht mit der gleichen Kognition wie das kantonale Steueramt über die Angelegenheit geurteilt hat und das Verwaltungsgericht mit Bezug auf die Frage nach dem Vorliegen einer allfälligen geldwerten Leistung an die F._ Holding AG, zumal im Beschwerdeverfahren keine Noven vorgebracht wurden, ebenfalls über eine freie rechtliche und tatsächliche Kognition verfügte (vgl. zur Kognition des Verwaltungsgerichts des Kantons Zürich im Beschwerdeverfahren Martin Bertschi, in: Alain Griffel [Hrsg.], Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich (VRG), 3. Aufl. 2014, Vorbemerkungen zu §§ 32-86 N. 8), wurde eine allfällige Verletzung des Anspruchs der Beschwerdeführer auf rechtliches Gehör in seinem Teilaspekt der Begründungspflicht durch den Einspracheentscheid somit in den anschliessenden kantonalen Rechtsmittelverfahren offensichtlich geheilt (vgl. Urteil 1C_39/2017 vom 13. November 2017 E. 2.1). Die Rüge der Verletzung des rechtlichen Gehörs ist unbegründet.
I. Direkte Bundessteuer
3.
3.1. Die Vorinstanz ist - wie bereits das Steuerrekursgericht - zur Auffassung gelangt, dass beim Verkauf der D._ AG an die F._ Holding AG sowie der damit in Zusammenhang stehenden Errichtung des Baurechts auf den der D._ AG gehörigen Grundstücken und der gleichentags erfolgten Veräusserung der baurechtsbelasteten Grundstücke an die G._ Immobilien AG eine geldwerte Leistung von Fr. 9.95 Mio. an den Beschwerdeführer erfolgt sei.
3.2. Die Beschwerdeführer bestreiten das Vorliegen einer geldwerten Leistung im Zusammenhang mit den Grundstückgeschäften nicht grundsätzlich, sind indessen der Auffassung, ein Teil dieser Leistung der D._ AG sei entgegen der Auffassung der Vorinstanz nicht an den Beschwerdeführer, sondern an die F._ Holding AG erfolgt:
Bei demjenigen Teil der verdeckten Gewinnausschüttung, welcher auf den untersetzten Verkaufspreis der drei baurechtsbelasteten Grundstücke zurückzuführen sei, seien nach der erfolgten Transaktion keine zukünftigen Zahlungen von der D._ AG an die G._ Immobilien AG mehr zu leisten. Beim Vollzug der Transaktion würden die drei baurechtsbelasteten Grundstücke und der um Fr. 2.16 Mio. untersetzte Kaufpreis (Verkehrswert der Bodengrundstücke bei Zugrundelegung eines marktgerechten Baurechtszinses Fr. 4.46 Mio.) zwischen der D._ AG und der G._ Immobilien AG ausgetauscht und damit habe es sich. Dementsprechend sei auch in diesem Umfang die Aufrechnung der damit verbundenen verdeckten Gewinnausschüttung als geldwerter Vorteil in den Händen der Beschwerdeführer nicht zu beanstanden.
Dagegen sei zwar mit dem Verwaltungsgericht davon auszugehen, dass die Baurechtszinsen im Vertrag betreffend die Errichtung eines Baurechts auf den (damals noch) der D._ AG gehörigen Parzellen massiv überhöht gewesen seien. Diese überhöhten Baurechtszinsen belasteten die D._ AG und hätten deshalb im Ergebnis zu einer Reduktion des von der F._ Holding AG an den Beschwerdeführer entrichteten Kaufpreises für die D._ AG geführt. Im Zeitpunkt der Transaktion sei die D._ AG die Verpflichtung eingegangen, während der nächsten fünfzig Jahre (d.h. in der Zukunft) übersetzte Leistungen an die G._ Immobilien AG zu entrichten und im Gegenzug habe sich der im Zeitpunkt der Transaktion von der F._ Holding AG zu bezahlende Preis für die Aktien der D._ AG entsprechend verringert. Die nachfolgenden jährlichen Zahlungen, welche die D._ AG nach erfolgtem Vollzug der Transaktion leiste, hätten mit dem Austausch der Werte bei der Transaktion nichts mehr zu tun. Die auf Stufe der D._ AG erfolgte verdeckte Gewinnausschüttung, die auf den überhöhten Teil der vereinbarten Baurechtszinsen zurückzuführen sei, habe somit bei der F._ Holding AG (und nicht beim Beschwerdeführer) zu einem geldwerten Vorteil in Form eines entsprechend reduzierten Kaufpreises geführt (Beschwerdeschrift, S. 19 Rz. 76). Es verletze daher Bundesrecht, wenn die Vorinstanz den entsprechenden Teil der verdeckten Gewinnausschüttung als geldwerte Leistung an den Beschwerdeführer qualifiziere.
4.
Gemäss <ref-law> sind als Ertrag aus beweglichem Vermögen insbesondere Dividenden, Gewinnanteile, Liquidationsüberschüsse und geldwerte Vorteile aus Beteiligungen aller Art steuerbar.
4.1. Die Annahme einer verdeckten Gewinnausschüttung bzw. einer geldwerten Leistung (vgl. E. 1.1) setzt in ständiger Rechtsprechung voraus, dass erstens die leistende Kapitalgesellschaft oder Genossenschaft für ihre Leistung keine oder keine gleichwertige Gegenleistung erhält, zweitens die Beteiligungsinhaberin oder der Beteiligungsinhaber der Kapitalgesellschaft oder Genossenschaft direkt oder indirekt einen Vorteil erlangt, drittens die Kapitalgesellschaft oder Genossenschaft diesen Vorteil einem Dritten unter gleichen Bedingungen nicht zugestanden hätte (Drittvergleich) und viertens der Charakter dieser Leistung - insbesondere das Missverhältnis zur Gegenleistung - für die Organe der Kapitalgesellschaft oder Genossenschaft erkennbar gewesen ist (vgl. <ref-ruling> E. 6.1; <ref-ruling> E. 4.1; <ref-ruling> E. 2.2; <ref-ruling> E. 5.1; Urteil 2C_578/2019 vom 31. März 2020 E. 3.3). Stets vorausgesetzt ist dabei, dass die Zuwendung ihren Rechtsgrund im Beteiligungsverhältnis hat (vgl. Urteile 2C_578/2019 vom 31. März 2020 E. 3.3 und 2C_449/2017 vom 26. Februar 2019 E. 2.3).
4.2. Gemäss der Dreieckstheorie kann einkommenssteuerrechtlich eine geldwerte Leistung an einen der Gesellschaft nahestehenden Dritten unter Umständen als steuerbare Zuwendung (insbesondere als verdeckte Gewinnausschüttung) an den Aktionär qualifiziert werden. Bei geldwerten Leistungen zwischen Schwestergesellschaften fliesst der Vorteil an sich unmittelbar von einer Schwestergesellschaft zur anderen. Die an den Gesellschaften beteiligten Aktionäre sind mittelbar betroffen, indem der Wert der Beteiligung an der leistenden Gesellschaft abnimmt, während sich der Wert der empfangenden Gesellschaft entsprechend erhöht. Eine solche geldwerte Leistung zwischen Schwestergesellschaften fusst regelmässig auf dem gemeinsamen Beteiligungsverhältnis, weshalb sich Zuwendungen an Schwestergesellschaften als (verdeckte) Gewinnausschüttungen an die Aktionäre einerseits und als (verdeckte) Kapitaleinlagen der Aktionäre an die empfangende Gesellschaft andererseits erweisen. Dabei ist ebenfalls aufgrund eines Drittvergleichs zu untersuchen, ob die zu beurteilende Leistung im Vergleich zu üblichem Geschäftsgebaren derart ungewöhnlich ist, dass der Schluss naheliegt, sie wäre so nicht erbracht worden, wenn der Leistungsempfänger dem Anteilsinhaber nicht nahestehen würde. Der Beteiligungsinhaber ist somit auch für Zuwendungen der Gesellschaft zu besteuern, die einer von ihm beherrschten weiteren Gesellschaft zufliessen, wenn eine geschäftsmässige Begründetheit für ein solches Vorgehen fehlt (BGE <ref-ruling> E. 4.2 m.H.; Urteil 2C_551/2019 vom 30. Oktober 2019 E. 4.1.2).
4.3. Bei geldwerten Vorteilen ist für den Zeitpunkt des Zufliessens auf den Zeitpunkt abzustellen, in dem der Beteiligte den klaren Willen äussert, die Mittel der Gesellschaft zu entziehen bzw. in dem diese Absicht für die Behörden eindeutig erkennbar wird (vgl. Urteil 2C_443/2016, 2C_444/2016 vom 11. Juli 2017 E. 3.5.3; Markus Reich/Markus Weidmann, in: Martin Zweifel/Michael Beusch [Hrsg.], Kommentar zum schweizerischen Steuerrecht, DBG, 3. Aufl. 2017, N. 48 zu Art. 20).
4.4. Zu zweidimensionalen Sachverhalten hat das Bundesgericht wiederholt festgestellt, dass kein eigentlicher Aufrechnungsautomatismus bestehe. Bestand, Qualifikation und Höhe einer Aufrechnung folgten auf Ebene der Gesellschaft einerseits und des Anteilsinhabers andererseits einer jeweils eigenen Logik. Entsprechend herrsche die übliche Beweislastverteilung (vgl. unter vielen Urteil 2C_32/2018 vom 11. November 2019 E. 3.1). Steuerbegründende und steuererhöhende Tatsachen hat die Veranlagungsbehörde, steuermindernde und steuerausschliessende Tatsachen die steuerpflichtige Person zu beweisen (sog. Normentheorie; <ref-ruling> E. 3.8.2). In Abweichung von den üblichen Regeln über die Beweislast hat aber ein Gesellschafter, der gleichzeitig Organ und/oder beherrschender Anteilsinhaber der Gesellschaft ist, Bestand und Höhe einer von der Veranlagungsbehörde behaupteten geldwerten Leistung detailliert zu bestreiten. Unterlässt er dies oder beschränkt er sich auf pauschale Ausführungen, darf die Veranlagungsbehörde grundsätzlich annehmen, die auf Gesellschaftsebene rechtskräftig veranlagte Aufrechnung sei dem Anteilsinhaber gegenüber ebenso berechtigt (Urteil 2C_461/2020 vom 17. Juli 2020 E. 2.2 m.H.).
5.
5.1.
5.1.1. Die Schätzungspraxis geht davon aus, dass der Verkehrswert eines mit einem Baurecht belasteten Grundstücks (Bodengrundstück) sich grundsätzlich aus drei Komponenten zusammensetzt. Dazu gehören der Barwert der für die Restvertragsdauer geschuldeten Baurechtszinsen und der diskontierte Wert des dem Eigentümer nach Ablauf des Baurechts wieder zur Verfügung stehenden Grundstücks. Von diesen beiden Komponenten ist gegebenenfalls - soweit eine Heimfallentschädigung vereinbart wurde - als dritter Bestandteil der diskontierte Wert der dem Baurechtsberechtigten bei Ablauf des Rechts zustehenden Heimfallentschädigung abzuziehen (vgl. <ref-ruling> E. 11.2; <ref-ruling> E. 4a; Urteil 2C_1081/2018 vom 29. Januar 2020 E. 3 m.H.). Symmetrisch dazu lässt sich der Verkehrswert des auf einem Grundstück lastenden Baurechts (Baurechtsparzelle) als die Summe des im Verhältnis der Restdauer reduzierten Verkehrswerts der ganzen Liegenschaft - als ob kein Baurecht bestünde - abzüglich des Barwerts der bis zum Ablauf des Baurechts noch geschuldeten Baurechtszinsen, gegebenenfalls zuzüglich der per Bewertungsstichtag diskontierten Heimfallentschädigung definieren (vgl. Francesco Canonica, Die Bewertung von Baurecht, Nutzniessung und Wohnrecht, 2016, S. 127). Dabei gilt die Regel, dass die Summe des Werts des Bodengrundstücks sowie des Werts der Baurechtsparzelle dem Verkehrswert der baurechtsfreien Liegenschaft entspricht (sog. Summenregel; Urteil 2C_1081/2018 vom 21. Januar 2020 E. 3.3).
5.1.2. Der vom Steuerrekursgericht bestellte Experte hat in seinem Gutachten unbestrittenermassen den Wert der Bodengrundstücke im Wesentlichen bestimmt, indem er den Gegenwartswert der Einnahmenüberschüsse 1.-50. Jahr, d.h. die diskontierten effektiven Netto-Baurechtszinsen über die Baurechtsdauer (vgl. Aufstellung im Urteil des Steuerrekursgerichts vom 31. Oktober 2017 betreffend Veranlagung der D._ AG E. 3b/aa S. 10), sowie den Gegenwartswert Residualwerte Baurechte bei Ablauf addiert und davon den Gegenwartswert der Heimfallentschädigung abgezogen hat. Bei der Bestimmung des Verkehrswerts der Bodengrundstücke hat der Gutachter demnach auf den anerkanntermassen gegenüber einem marktüblichen überhöhten Baurechtszinssatz abgestellt, ist ansonsten aber den dargelegten Regeln betreffend die Ermittlung des Werts eines Bodengrundstücks (Gegenwartswert Baurechtszinse + Gegenwartswert Grundstück nach Ablauf Baurecht - Gegenwartswert Heimfallentschädigung) gefolgt.
5.1.3. Dieses Vorgehen, welches naturgemäss zu einem höheren Verkehrswert führt, als wenn ein marktgerechter Baurechtszins zugrunde gelegt würde, beruht auf der Überlegung, dass es letztendlich für die Bestimmung der Höhe der geldwerten Leistung nicht darauf ankommt, ob die Berechnung des Verkehrswerts der Bodengrundstücke anhand eines marktgerechten oder des vereinbarten überhöhten Baurechtszinses vorgenommen wird; dies deshalb, weil sich die verdeckte Gewinnausschüttung aus dem übersetzten Preis für die Bodengrundstücke sowie den überhöhten Baurechtszinsen zusammensetzt. Unter dieser Prämisse kommt es nicht darauf an, ob der Verkehrswertberechnung ein marktgerechter oder der vereinbarte Baurechtszins zugrunde gelegt wird: Würde ein marktgerechter (und nicht der vereinbarte) Baurechtszins zugrunde gelegt und resultierte deshalb ein niedrigerer Wert der Bodengrundstücke, wäre zusätzlich zur Differenz zwischen vereinbartem Kaufpreis für die Bodengrundstücke und deren Verkehrswert der Barwert des überhöhten Teils des Baurechtszinses als verdeckte Gewinnausschüttung zu betrachten.
5.2.
5.2.1. Entgegen den Beschwerdeführern ist nicht zu beanstanden, dass die Vorinstanz im Ergebnis die geldwerte Leistung in der Zuwendung sowohl des Werts der Bodengrundstücke als auch des überhöhten Baurechtszinses an den Beschwerdeführer erblickt hat: Die Vereinbarung des überhöhten Baurechtszinses und die unterpreisige Veräusserung der Bodengrundstücke stehen in einem unmittelbaren Zusammenhang mit der Veräusserung der D._ AG an die F._ Holding AG durch den Beschwerdeführer als Beteiligten an der D._ AG. Entsprechend der gedanklichen Konstruktion der Dreieckstheorie floss der entsprechende Vorteil notwendig zunächst dem Beschwerdeführer zu, welcher ihn dann seinerseits der von ihm beherrschten G._ Immobilien AG zukommen liess. Für die Organe der D._ AG war ohne weiteres erkennbar, dass diesen Leistungen keine angemessene Leistung gegenüberstand.
5.2.2. Diese Feststellungen treffen insbesondere auch für den überhöhten Baurechtszins zu, und zwar auch dann, wenn die Vereinbarung eines überhöhten Baurechtszinses im Rahmen der Verhandlungen mit der F._ Holding AG, wie die Beschwerdeführer geltend machen, zu einer Reduktion des für die D._ AG bezahlten Kaufpreises geführt haben sollte.
5.2.2.1. Zunächst leuchtet aufgrund der dargelegten Regeln über die Bewertung von mit Baurechten belasteten Grundstücken (Bodengrundstück und Baurechtsparzelle) unmittelbar ein, dass die Höhe eines marktgerechten Baurechtszinses allenfalls einen Einfluss auf die Höhe der Bewertung der Bodengrundstücke gehabt hätte, indessen angesichts des anerkanntermassen überhöhten Baurechtszinses über den marktgerechten Preis der Bodengrundstücke hinaus eine Zuwendung an den Beschwerdeführer erfolgte - nämlich in dem Umfang, in dem die D._ AG verpflichtet wurde, einen überhöhten Baurechtszins an die G._ Immobilien AG zu entrichten.
5.2.2.2. Unabhängig davon, dass der überhöhte Baurechtszins teilweise erst in Zukunft der G._ Immobilien AG zufliessen wird, war mit dem Abschluss der entsprechenden Vereinbarungen im Zusammenhang mit dem Kaufvertrag zwischen dem Beschwerdeführer und der F._ Holding AG betreffend die D._ AG auch der eindeutige Wille des Beschwerdeführers klar, die entsprechenden Leistungen aus der D._ AG - und zwar auch noch nach deren Veräusserung an die F._ Holding AG - abzuziehen. Aufgrund der von der D._ AG noch auf Veranlassung des Beschwerdeführers (und nicht etwa der F._ Holding AG, vgl. angefochtener Entscheid, E. 3.5.3 S. 13 f.) übernommenen Verpflichtung aus dem Baurechtsvertrag konnte sich die F._ Holding AG als neue Eigentümerin der D._ AG der Verpflichtung aus dem Baurechtsvertrag nicht mehr entziehen.
5.2.2.3. Es mag zutreffen und erscheint sogar als wahrscheinlich, dass die F._ Holding AG, weil sich der Beschwerdeführer beim Verkauf der D._ AG im Ergebnis noch eine zukünftige Entnahme aus dem Kaufobjekt vorbehielt und deren Grundlagen auch im Zusammenhang mit dem Verkauf der D._ AG mittels Begründung des Baurechts und Übereignung der Bodenparzelle an die G._ Immobilien AG fixiert wurden, einen niedrigeren Kaufpreis zu entrichten hatte, als wenn die der D._ AG gehörigen Grundstücke unbelastet in der D._ AG verblieben wären. Die geldwerte Leistung aus unterpreisiger Veräusserung der Bodengrundstücke und überhöhtem Baurechtszins fliesst indessen allein dem Beschwerdeführer und nicht etwa der F._ Holding AG zu. An sie werden weder direkt noch indirekt Teile der entsprechenden Leistungen ausgerichtet.
Der Umstand, dass die F._ Holding AG infolge der Substanzentnahme durch den Beschwerdeführer im Zusammenhang mit dem Verkauf der Gesellschaft allenfalls einen niedrigeren Preis für die D._ AG entrichtete, macht sie nicht (und zwar auch nicht teilweise) zur Empfängerin einer geldwerten Leistung: Entnimmt der Steuerpflichtige im Zusammenhang mit der Veräusserung einer Beteiligung der betroffenen Gesellschaft mittels verdeckter Gewinnausschüttung Substanz, so hat das zwar einen Einfluss auf den Wert des Kaufobjekts und damit auf den Preis. Allfällige Steuerfolgen einer solchen geldwerten Leistung treffen indessen allein den Veräusserer; eine verdeckte Gewinnausschüttung an den Erwerber der Beteiligung liegt in diesem Vorgang nicht, übernimmt dieser doch auch eine Gesellschaft mit im Umfang der Entnahme reduzierter Substanz.
Im Übrigen liegt auch im Umstand, dass eine zu veräussernde Gesellschaft in Zukunft - d.h. nach der Veräusserung - an den Verkäufer fliessende Aufwendungen zu tragen hat, die sich beim Veräusserungsobjekt gewinnmindernd niederschlagen und die bei der Preisfestsetzung berücksichtigt werden, auch keine verdeckte Gewinnausschüttung an den Käufer. Soweit solche Aufwendungen in steuerlicher Hinsicht geschäftsmässig begründet sind, mindern sie tatsächlich die Ertragskraft des veräusserten Unternehmens und es ist daher nur folgerichtig, wenn sie bei den Preisverhandlungen im Rahmen der Veräusserung des Unternehmens Berücksichtigung finden.
5.3. Ist damit entgegen den Beschwerdeführern das Vorliegen einer verdeckten Gewinnausschüttung mit Bezug auf die zu diesem Zeitpunkt (noch) nicht nahestehende F._ Holding AG zu verneinen, ist es nicht zu beanstanden, dass die Vorinstanz die gesamte geldwerte Leistung dem Beschwerdeführer zugerechnet hat. Die Beschwerde betreffend die direkte Bundessteuer ist daher abzuweisen.
II. Staats- und Gemeindesteuern
6.
Die hier für die Staats- und Gemeindesteuern massgeblichen harmonisierten Vorschriften (§ 20 Abs. 1 lit. c des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 [StG/ZH; LS 631.1] bzw. Art. 7 Abs. 1 StHG) lauten gleich wie <ref-law> und sind übereinstimmend auszulegen (Urteile 2C_961/2010, 2C_962/2010 vom 30. Januar 2012 E. 8, nicht publ. in BGE <ref-ruling>; Urteile 2C_252/2014, 2C_257/2014 vom 12. Februar 2016 E. 7; vgl. auch Urteil 2C_51/2016 vom 10. August 2016 E. 4). Demzufolge erweist sich die Beschwerde auch mit Bezug auf die Staats- und Gemeindesteuern als unbegründet und ist daher abzuweisen.
7.
Die unterliegenden Beschwerdeführer tragen die Gerichtskosten zu gleichen Teilen, wobei sie untereinander solidarisch haften (Art. 66 Abs.1 und 5 BGG). Dem Kanton Zürich, der in seinem amtlichen Wirkungskreis obsiegt, ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen.
2.
Die Beschwerde betreffend die Staats- und Gemeindesteuern wird abgewiesen.
3.
Die Kosten des bundesgerichtlichen Verfahrens von Fr. 14'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 3. Mai 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Businger