Sachverhalt:
A.
A.a. A._ liess in seiner Steuererklärung 2009 für die Staats- und Gemeindesteuern ein steuerbares Einkommen von Fr. aaa sowie ein steuerbares Vermögen von Fr. bbb deklarieren, wobei er unter anderem seine Beteiligungen am Familienunternehmen B._ offenlegte. Diesen zufolge ist er Teilhaber der hier interessierenden C._ (nachfolgend: C._) und D._ Verwaltungsgesellschaft mbH & Co. KG (nachfolgend: D._), beides Kommanditgesellschaften deutschen Rechts.
A.b. Das Kantonale Steueramt Zürich nahm mit Verfügung vom 4. November 2011 für die Staats- und Gemeindesteuern 2009 eine Korrektur beim Wertschriftenertrag vor und schätzte A._ mit einem steuerbaren Einkommen von Fr. ccc und einem steuerbaren Vermögen von Fr. ddd ein.
A.c. Hiergegen erhob A._ Einsprache, da er irrtümlicherweise eine im Jahr 2009 neu gegründete Gesellschaft nicht deklariert hatte. Nach weiteren Untersuchungen schätzte ihn das Kantonale Steueramt für die Staats- und Gemeindesteuern 2009 mit Einspracheentscheid vom 3. September 2014 mit einem steuerbaren Einkommen von Fr. eee (zum Satz von Fr. fff) und einem steuerbaren Vermögen von Fr. ggg (zum Satz von Fr. hhh) ein. Zur Begründung führte es an, die C._ und D._ würden keine Geschäftsbetriebe bzw. keine Betriebsstätten in Deutschland begründen, weshalb das Besteuerungsrecht betreffend die Anteile von A._ an den Erträgen und Vermögenswerten dieser beiden Gesellschaften dem Kanton Zürich zuzuweisen sei.
A.d. Den dagegen erhobenen Rekurs von A._ hiess das Steuerrekursgericht des Kantons Zürich mit Entscheid vom 29. Juni 2015 teilweise gut und setzte das steuerbare Einkommen auf Fr. iii (zum Satz von Fr. fff) und das steuerbare Vermögen auf Fr. jjj (zum Satz von Fr. hhh) fest. Es ging davon aus, die C._ und D._ wiesen ausländische Betriebsstätten auf, weshalb die Anteile an deren Erträgen und Vermögenswerten nach Deutschland auszuscheiden seien.
B.
Mit Urteil vom 1. Juni 2016 hat das Verwaltungsgericht des Kantons Zürich die vom Kantonalen Steueramt erhobene Beschwerde gutgeheissen und A._ für die Staats- und Gemeindesteuern 2009 mit einem steuerbaren Einkommen von Fr. eee (zum Satz von Fr. fff) und einem steuerbaren Vermögen von Fr. ggg (zum Satz von Fr. hhh) veranlagt. Es hielt fest, die C._ und D._ würden nicht unmittelbar über eigene Räume und Personal und somit über keine feste Geschäftseinrichtung in Deutschland verfügen. Die unmittelbare Nutzung der Räumlichkeiten und des Personals erfolge vielmehr durch die E._ GmbH. Letztere qualifizierte das Verwaltungsgericht als eigenständige Gesellschaft innerhalb der B._ Konzernstruktur, deren Geschäftseinrichtungen der C._ und D._ nicht zuzurechnen seien. Ein Geschäftsbetrieb in Deutschland liege deshalb nicht vor.
C.
Mit Eingabe vom 16. August 2016 erhebt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des angefochtenen Urteils und die Bestätigung des Rekursentscheids des Steuerrekursgerichts. Eventualiter sei die Sache zum Neuentscheid an die Vorinstanz zurückzuweisen. Subeventualiter sei ein Einschlag von 30% auf den Vermögenswerten der C._ und D._ zu gewähren, analog zu gesperrten Mitarbeiterbeteiligungen oder der Bewertung von Wertpapieren ohne Kurswert. Zur Begründung bringt er im Wesentlichen vor, es bestehe ein kaufmännischer Betrieb, der seine Anknüpfung in Deutschland habe. Der Schweiz stehe weder nach nationalen Bestimmungen noch nach dem Doppelbesteuerungsabkommen mit Deutschland das Besteuerungsrecht zu.
Das Verwaltungsgericht und das Kantonale Steueramt beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung hat auf einen Antrag verzichtet.
Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 BGG i.V.m. Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Auf die frist- und formgerecht eingereichte Beschwerde des hierzu legitimierten Beschwerdeführers (Art. 89 Abs. 1 BGG) ist einzutreten (Art. 42 und 100 Abs. 1 BGG).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung verfügt das Bundesgericht über volle Kognition und wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist daher weder an die in der Beschwerde vorgebrachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (Motivsubstitution; BGE 141 V 234 E. 1 S. 236). Die Verletzung von Grundrechten und von kantonalem (einschliesslich kommunalem) und interkantonalem Recht prüft das Bundesgericht hingegen nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss Art. 106 Abs. 2 BGG; BGE 139 I 229 E. 2.2 S. 232).
Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen grundsätzlich gleich wie Bundesrecht mit freier Kognition (Art. 95 lit. a BGG). In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (BGE 134 II 207 E. 2 S. 209 f.; 130 II 202 E. 3.1 S. 205 f.; Urteil 2C_837/2014 vom 23. Februar 2015 E. 2.2).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, das heisst willkürlich, ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; BGE 140 III 115 E. 2 S. 117). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
1.4. In Bezug auf die Beweislast gilt Folgendes: Der Nachweis für steuerbegründende oder steuererhöhende Tatsachen obliegt der Steuerbehörde, der Nachweis für steueraufhebende oder steuermindernde Tatsachen der steuerpflichtigen Person; diese hat die entsprechenden Tatsachen also nicht nur zu behaupten, sondern auch zu belegen (BGE 140 II 248 E. 3.5 S. 252 mit Hinweisen).
2.
2.1. Eine natürliche Person ist aufgrund persönlicher Zugehörigkeit in der Schweiz bzw. im Kanton Zürich steuerpflichtig, wenn sie hier ihren steuerrechtlichen Wohnsitz oder Aufenthalt hat (Art. 3 Abs. 1 StHG, § 3 Abs. 1 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 [StG/ZH; LS 631.1]). Gemäss § 8 Abs. 1 StG/ZH sind Kommanditgesellschaften als solche nicht steuerpflichtig; ihr Einkommen und Vermögen wird den Teilhabern und Kommanditären zugerechnet. Ausländische juristische Personen, ausländische Handelsgesellschaften und andere ausländische Personengesamtheiten ohne juristische Persönlichkeit werden den inländischen juristischen Personen gleichgestellt, denen sie rechtlich oder tatsächlich am ähnlichsten sind (§ 54 Abs. 3 StG/ZH).
2.2. Bei der C._ und D._ handelt es sich um Gesellschaften mit beschränkter Haftung & Compagnie Kommanditgesellschaft (GmbH & Co. KG) nach deutschem Recht (§ 161 ff. des Handelsgesetzbuches der Bundesrepublik Deutschland). Diese stellen Sonderformen der Kommanditgesellschaft dar. Sie gelten nicht als juristische Person, sondern als Personengesellschaften. Bei der GmbH & Co. KG haftet eine Gesellschaft mit beschränkter Haftung (GmbH) persönlich und unbegrenzt (Komplementärin) und nicht eine natürliche Person. Damit lässt sich das finanzielle Risiko, das mit der Gründung jeder Kommanditgesellschaft verbunden ist, für alle Gesellschafter, insbesondere auch für die, die natürliche Personen sind, auf eine bestimmte Summe beschränken (vgl. BARBARA GRUNEWALD, in: Münchener Kommentar, Handelsgesetzbuch, §§ 161-237 Konzernrecht der Personengesellschaften, 3. Aufl. 2012, Rz. 48 zu § 161). Sowohl die Vorinstanz als auch der Beschwerdeführer sind zu Recht davon ausgegangen, dass es sich bei der C._ und D._ um Gesellschaften handelt, die in ihrer Form einer schweizerischen Kommanditgesellschaft gemäss Art. 594 OR am ähnlichsten sind (vgl. BGE 136 V 258 E. 2.1 S. 260 f. m.H.; vgl. auch FLICK/WASSERMEYER/KEMPERMANN, Doppelbesteuerungsabkommen Deutschland - Schweiz, N. 35 zu Art. 5). Weiter ist unbestritten, dass der Beschwerdeführer aufgrund persönlicher Zugehörigkeit in der Schweiz bzw. im Kanton Zürich unbeschränkt für sein weltweites Einkommen und Vermögen steuerpflichtig ist (§ 3 Abs. 1 i.V.m. § 5 Abs. 1 und § 6 Abs. 1 StG/ZH) und ihm Einkommen und Vermögen der C._ und D._ anteilsmässig zugerechnet werden (§ 8 Abs. 1 StG/ZH). Umstritten ist hingegen, ob die Anteile des Beschwerdeführers als Kommanditär der C._ und D._ (mit Sitz in Deutschland) als Einkommens- bzw. Vermögensbestandteil in der Schweiz zu besteuern sind.
2.2.1. Die Vorinstanz hat festgehalten, die eingereichten Unterlagen würden in Übereinstimmung mit den Ausführungen des Steuerrekursgerichts und des Kantonalen Steueramts zeigen, dass die C._ und D._ nicht unmittelbar über eigene Räume und Personal verfügten. Die unmittelbare Nutzung der Räumlichkeiten und des Personals erfolge vielmehr durch die E._ GmbH. So sei in den Jahresabschlüssen der C._ und D._ weder Personal- noch Mietaufwand ersichtlich. Die Jahresrechnung der E._ GmbH weise dagegen einen Aufwandposten Personal aus. Mietaufwand sei auch aus der Jahresrechnung der E._ GmbH nicht ersichtlich. Der Vertrag betreffend die Miete der "Villa F._ " sei zwischen der E._ GmbH als Mieterin und der "G._ " als Vermieterin abgeschlossen. Ausserdem seien gemäss den eingereichten Akten keine direkt bei der C._ und D._ angestellte Mitarbeiter ersichtlich. Es sei somit nicht einmal ein minimales Verfügungsrecht über die Einrichtungen gegeben. Weiter würden eine Vielzahl von Indizien den Schluss nahelegen, dass die E._ GmbH als eigenständige Gesellschaft innerhalb der B._ Konzernstruktur zu qualifizieren sei, ohne dass ihre Geschäftseinrichtung der C._ und D._ zuzurechnen sei. Das Tagesgeschäft der Vermögensverwaltung für die C._ und D._ werde unabhängig von der Einflussnahme anderer Konzerngesellschaften oder der Kommanditäre durch die Mitarbeiter der E._ GmbH geführt. Selbst bei der Festlegung der Anlagestrategie für das Vermögen der C._ und D._ komme der E._ GmbH eine entscheidende Rolle zu, indem sie die Vorarbeit für die spätere Entschlussfassung des Anlageausschusses leiste und damit in gewichtiger Weise unabhängig von den Kommanditären auf den Anlageausschuss Einfluss nehme. Die Beherrschungsverhältnisse seien kein ausschlaggebendes Kriterium für das Vorliegen eines Geschäftsbetriebs, da ansonsten der Betriebsstättenbegriff überdehnt würde. Die Vorinstanz ist in der Folge zum Ergebnis gelangt, dass es an einer festen Geschäftseinrichtung der C._ und D._ fehle und auch keine Vertreterbetriebsstätte vorliege. Es bestehe somit weder nach internem schweizerischen Recht noch gestützt auf das Doppelbesteuerungsabkommen ein Geschäftsbetrieb in Deutschland. Ob ein Betrieb nach kaufmännischer Art geführt worden ist, hat die Vorinstanz bei diesem Ergebnis offengelassen.
2.2.2. Dagegen bringt der Beschwerdeführer vor, der Dienstleistungsvertrag der C._ und D._ mit der E._ GmbH beinhalte nicht nur das Zurverfügungstellen des Personals, sondern auch der entsprechenden Räumlichkeiten. Es könne daher keine Rede davon sein, die C._ und D._ hätten kein minimales Verfügungsrecht über die Einrichtung, sei ihnen doch mehr als die Hälfte der Ressourcen der E._ GmbH zuzurechnen. Die an die C._ und D._ weiterverrechneten Kosten der E._ GmbH seien denn auch für den Betrieb der beiden Gesellschaften angefallen. Die Tatsache, dass die C._ und D._ nicht direkt über Personal verfügten, sondern dieses im Rahmen des Dienstleistungsvertrags mit der E._ GmbH zur Verfügung gestellt erhielten, ändere nichts daran, dass dieses Personal für und auf Kosten der C._ und D._ tätig sei. Es sei praxisfremd, wenn die Vorinstanz verlange, dass jede betroffene Gesellschaft eigene Angestellte und Räumlichkeiten aufweisen müsse. Bei geteilter Ressourcennutzung innerhalb einer Gruppe sei es administrativ nicht zweckmässig und für die betroffenen Angestellten sogar nachteilig, wenn jede betroffene Gruppengesellschaft einen eigenen Arbeitsvertrag mit jedem Mitarbeiter und einen eigenen Mietvertrag über dieselben Räumlichkeiten abschliessen würde. Die E._ GmbH sei zudem eine abhängige Gesellschaft. Da auch in Deutschland eine reine Kostenweiterverrechnung nicht zulässig sei, habe man einen minimalen, steuerlich akzeptablen Aufschlag von 2% festgelegt; ein unabhängiger Dritter würde einen solchen Vertrag mit einer solchen Entschädigung nie eingehen. Als eigenständige Dienstleisterin würde die E._ GmbH aber ein viel höheres Entgelt als die Kosten mit Aufschlag von 2% an die C._ und D._ verrechnen, um eine risikogerechte unternehmerische Rendite zu erzielen.
In gesellschaftsrechtlicher Hinsicht sei die E._ GmbH unbeschränkt haftende Gesellschafterin (Komplementärin) und gleichzeitig Geschäftsführerin der C._ und D._, wobei sie als eine reine Hilfsgesellschaft zu qualifizieren sei, da sie eine 100%-ige Tochter der C._ sei. Die Geschäftsführungsbefugnis nehme sie durch ihre Organe und Angestellten wahr; die Handlungen dieser natürlichen Personen seien der C._ und D._ zuzurechnen. Das Gleiche gelte für die Handlungen von H._ als Komplementär und Geschäftsführer der D._. Die E._ GmbH sei bezüglich der Geschäftsführung der C._ und D._ zudem an die Weisungen des Familienrats gebunden. Die Kontrollmechanismen (Weisungsrechte, personelle Verknüpfung) seien absichtlich in die Struktur eingebaut worden, damit die Gesellschafter die unmittelbare Kontrolle über die Vermögenswerte der C._ und D._ behielten. Die E._ GmbH sei aber keine eigenständige Gesellschaft, sondern eine 100%-ige Tochter- und Hilfsgesellschaft der C._ und gehöre gerade nicht zum B._ -Konzern. Insgesamt liege somit zweifelsfrei ein kaufmännischer Betrieb vor, der seine Anknüpfung in Deutschland habe.
2.2.3. Die Differenzen zwischen den Vorinstanzen und dem Beschwerdeführer bestehen somit insbesondere in der Frage der Qualifikation bzw. Zurechnung von Räumlichkeiten und Personal an die C._ und D._, woraus das Bestehen einer Betriebsstätte in Deutschland abgeleitet, bzw. dieses verneint wird.
2.3. Nach schweizerischem Recht ist die Steuerpflicht bei persönlicher Zugehörigkeit zwar unbeschränkt, erstreckt sich aber nicht auf Geschäftsbetriebe, Betriebsstätten und Grundstücke ausserhalb des Kantons (§ 5 Abs. 1 StG/ZH; vgl. auch Art. 6 Abs. 1 DBG). Die Steuerausscheidung für Geschäftsbetriebe, Betriebsstätten und Grundstücke erfolgt im Verhältnis zu anderen Kantonen und zum Ausland nach den Grundsätzen des Bundesrechts über das Verbot der interkantonalen Doppelbesteuerung (§ 5 Abs. 3 StG/ZH; vgl. auch Art. 6 Abs. 3 DBG). Das Vorliegen eines Geschäftsbetriebes setzt praxisgemäss voraus, dass ein Unternehmen eine geschäftliche Tätigkeit ausübt, wobei ein Betrieb nach kaufmännischer Art in einer festen Anlage oder Einrichtung ausgeführt wird (Urteile 2C_738/2014 / 2C_739/2014 vom 21. August 2015 E. 2.3; 2A.119/2007 / 2A.120/2007 vom 13. August 2007 E. 3.1). Als nichtkaufmännische Personengesellschaften gelten solche, deren Tätigkeit sich in der gewöhnlichen Vermögensverwaltung erschöpft und die über keine festen, ständigen Anlagen am Gesellschaftssitz verfügen, die der Geschäftstätigkeit dienen. Dies trifft insbesondere auf reine Finanz- oder Vermögensverwaltungsgesellschaften zu, welche keine geschäftliche Tätigkeit im Sinne der vorliegenden Bestimmung ausüben, selbst wenn das Vermögen erheblich ist und dessen Verwaltung über das gewöhnliche Mass hinausgeht (vgl. BGE 98 Ia 212 E. 2 S. 217; Urteil 2C_738/2014 / 2C_739/2014 vom 21. August 2015 E. 2.3 m.H.). Diese betreiben kein nach kaufmännischer Art geführtes Gewerbe, weshalb die einzelnen Gesellschafter ihre Anteile an der Gesellschaft an ihrem eigenen Hauptsteuerdomizil zu versteuern haben (vgl. BGE 98 Ia 212 E. 3 S. 218 f.).
2.4. Im Ergebnis gleich - auf jeden Fall soweit vorliegend relevant - präsentiert sich die Situation gemäss dem Abkommen vom 11. August 1971 zwischen der Schweizerischen Eidgenossenschaft und der Bundesrepublik Deutschland zur Vermeidung der Doppelbesteuerung auf dem Gebiete der Steuern vom Einkommen und vom Vermögen (SR 0.672.913.62; nachfolgend: DBA CH-DE). Auf dieses können sich zwar die C._ und D._ als Personengesellschaften, welche nicht als juristische Personen gelten (vgl. Art. 3 Abs. 1 lit. d und e DBA CH-DE), nicht berufen, wohl aber der Beschwerdeführer, welcher gemäss Art. 4 DBA CH-DE in der Schweiz ansässig ist (zum Ganzen Urteil 2C_738/2014 / 2C_739/2014 vom 21. August 2015 E. 3).
2.4.1. Gemäss Art. 7 Abs. 1 DBA CH-DE können Gewinne eines Unternehmens eines Vertragsstaates nur in diesem Staat besteuert werden, es sei denn, dass das Unternehmen seine Tätigkeit im anderen Vertragsstaat durch eine dort gelegene Betriebsstätte ausübt (Art. 7 Abs. 1 DBA CH-DE). Dies gilt auch für Einkünfte aus der Beteiligung an einer Personengesellschaft (Art. 7 Abs. 7 DBA CH-DE). Somit sind die Einkünfte aus Beteiligungen an einem Unternehmen einer Personengesellschaft am Wohnsitz der Gesellschafter zu besteuern, ausser es bestehe eine Betriebsstätte im anderen Staat. Vorbehalten bleiben Einkünfte, die in anderen Artikeln des Abkommens behandelt werden (Art. 7 Abs. 8 DBA CH-DE). Von Interesse ist insbesondere Art. 10 DBA CH-DE. Dividenden, die eine in einem Vertragsstaat ansässige Gesellschaft an eine in dem anderen Vertragsstaat ansässige Person zahlt, können in dem anderen Staat besteuert werden (Art. 10 Abs. 1 DBA CH-DE). Absatz 1 ist jedoch nicht anzuwenden, wenn der in einem Vertragsstaat ansässige Empfänger der Dividenden in dem anderen Vertragsstaat, in dem die Dividenden zahlende Gesellschaft ansässig ist, eine Betriebsstätte hat und die Beteiligung, für die die Dividenden gezahlt werden, tatsächlich zu dieser Betriebsstätte gehört (Art. 10 Abs. 5 DBA CH-DE). Besteht eine solche Betriebsstätte, ist Art. 7 DBA CH-DE anzuwenden und die Dividende darf im Ansässigkeitsstaat der Person nicht besteuert werden. Eine analoge Regelung besteht in Bezug auf die Vermögensbesteuerung. Grundsätzlich sind alle Vermögenswerte einer in einem Vertragsstaat ansässigen Person in diesem zu besteuern, es sei denn, es liege eine Ausnahme nach Art. 22 Abs. 1 - 5 DBA CH-DE vor (Art. 22 Abs. 6 DBA CH-DE). So sieht Art. 22 Abs. 2 DBA CH-DE vor, dass bewegliches Vermögen, das Betriebsvermögen darstellt, in dem Vertragsstaat besteuert werden kann, in dem sich die Betriebsstätte befindet (zum Ganzen Urteil 2C_738/2014 / 2C_739/2014 vom 21. August 2015 E. 3.1 f.).
2.4.2. Das Bundesgericht hat sich im soeben zitierten und auch von den Verfahrensbeteiligten angeführten Urteil zum Betriebsstättenbegriff nach DBA geäussert: Art. 5 Abs. 1 DBA CH-DE bestimmt als Betriebsstätte eine feste Geschäftseinrichtung, in der die Tätigkeit des Unternehmens ganz oder teilweise ausgeübt wird. Sie umschliesst sowohl die Betriebsstätte als auch den Geschäftsbetrieb nach DBG (SR 642.11; PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, N. 25 zu Art. 4 DBG). Die Regelung des Doppelbesteuerungsabkommens unterscheidet sich von derjenigen des DBG bzw. des StHG auch dadurch, dass sie nur die blosse Tätigkeit anstatt eine Geschäftstätigkeit zur Qualifikation als Betriebsstätte voraussetzt (RICHNER/FREI/ KAUFMANN/MEUTER, Handkommentar zum DBG, 3. Aufl. 2016, N. 18 zu Art. 4 DBG). Dementsprechend können auch Einrichtungen, in welchen keine kaufmännische Tätigkeit ausgeübt wird, sondern beispielsweise eine Vermögensverwaltungstätigkeit, eine Betriebsstätte im Sinne von Art. 5 Abs. 1 DBA CH-DE darstellen (LOCHER, a.a.O., N. 32 zu Art. 4 DBG; RICHNER/FREI/KAUFMANN/MEUTER, a.a.O., N. 26 zu Art. 4 DBG; VOGEL/LEHNER, Doppelbesteuerungsabkommen der Bundesrepublik Deutschland auf dem Gebiet der Steuern vom Einkommen und Vermögen: Kommentar auf der Grundlage der Musterabkommen, [nachfolgend: Kommentar DBA], 6. Aufl. 2015, N. 25 zu Art. 5). Hingegen begründet ein blosses Beherrschungsverhältnis nicht eine Betriebsstättenqualität (Art. 5 Abs. 6 DBA CH-DE), auch dann nicht, wenn die beherrschte Gesellschaft von der beherrschenden gelenkt wird (SCHREIBER/HONOLD/JAUN, in: Kommentar zum Schweizerischen Steuerrecht, Internationales Steuerrecht, N. 150 zu Art. 5 OECD-MA; zum Ganzen Urteil 2C_738/2014 / 2C_739/2014 vom 21. August 2015 E. 3.3).
2.4.3. Im vorliegenden Kontext ist nun jedoch relevant, dass Gegenstand der Regelung von Art. 7 Abs. 1 DBA CH-DE Unternehmensgewinne sind. Art. 3 Abs. 1 lit. f DBA CH-DE definiert als "Unternehmen eines Vertragsstaates" ein Unternehmen, welches von einer in einem Vertragsstaat ansässigen Person betrieben wird. Der Begriff des Unternehmens selber wird im Abkommen - welches insoweit auch dem OECD-Musterabkommens (nachfolgend: OECD-MA) entspricht - nicht definiert. Gemäss Art. 3 Abs. 2 DBA CH-DE - wonach bei der Anwendung des Abkommens durch einen Vertragsstaat (wenn der Zusammenhang nichts anderes erfordert) jeder nicht anders definierte Ausdruck die Bedeutung hat, welche ihm nach dem Recht dieses Staates über die Steuern zukommt, welche Gegenstand des Abkommens sind - ist somit zur Definition des Begriffs "Unternehmen" grundsätzlich auf das Schweizerische Steuerrecht zurückzugreifen (vgl. in diesem Sinne auch Kommentar zum OECD-MA [Version 15. Juli 2014] Ziff. 4 zu Art. 3, wonach die Frage, ob eine Aktivität als Unternehmen qualifiziert ist, seit jeher nach dem jeweiligen internen Recht zu beantworten war). Zu beachten ist allerdings, dass Doppelbesteuerungsabkommen primär Doppelbesteuerungen vermeiden und eine gerechte Verteilung der Steuergüter zwischen den Vertragsstaaten regeln wollen und die Abkommensregelungen daher auf gemeinsame Rechtsfolgen gerichtet sind. Dies ruft notwendigerweise nach einer möglichst einheitlichen Anwendung der Normen durch die Vertragsstaaten. Das heisst, die Auslegung ist nach Möglichkeit - d.h. im Rahmen dessen, was sich aus dem Wortlaut ableiten lässt (vgl. Urteil des deutschen Bundesfinanzhof [BFH] vom 13.6.2012, I R 41/11, Rz. 16) - auf Entscheidungsharmonie auszurichten, sind doch die im DBA verwendeten Begriffe der potentielle Ausdruck eines übereinstimmenden Willens der Vertragspartner und entsprechend auszulegen (vgl. SCHAUMBURG/HÄCK, in: Internationales Steuerrecht, Harald Schaumburg [Hrsg.], 4. Aufl. 2017, Ziff. 19.52; VOGEL/LEHNER, a.a.O., N. 114 ff. zu Grundlagen; FLICK/WASSERMEYER/KEMPERMANN, a.a.O., N. 167 zu Art. 3; vgl. auch die konkrete Umsetzung in BGE 116 Ib 217 E. 3e, S. 227; vgl. Urteil des deutschen Bundesgerichtshofs [BGH] I R 90/08 vom 2.9.2009, Rz. 20 [grundsätzlich] sowie Urteil des BGH I R 111/08 vom 2.9.2009, Rz. 16 [in Bezug auf das DBA CH-DE]).
2.4.4. Vom DBA CH-DE erfasst werden die Steuern vom Einkommen und vom Vermögen (Vgl. Art. 2 Abs. 1 DBA CH-DE). Das Einkommens- und Vermögenssteuerrecht der Schweiz enthält keine explizite gesetzliche Definition des Unternehmens. Art. 18 Abs. 1 DBG erklärt als steuerbar alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit. In der Literatur wird mit Bezugnahme auf Art. 18 DBG statt von "Betrieb" auch von "Unternehmen" gesprochen, das heisst in diesem Kontext werden die beiden Begriffe gleichgesetzt (vgl. ERNST BLUMENSTEIN/PETER LOCHER, System des Schweizerischen Steuerrechts, 7. Auflage 2016, S. 212). Aus der bundesgerichtlichen Rechtsprechung ergibt sich, dass ein Unternehmen dann vorliegt, wenn es sich um eine organisierte Einheit von Arbeit und Kapital handelt, die selbständig, gegen aussen sichtbar und planmässig wirtschaftliche Leistungen für Dritte erbringt (vgl. BGE 125 II 113 E. 5b S. 120 f.; Urteile 2C_1204/2013 vom 2. Oktober 2014 E. 2.2, 2C_186, 187/2014 vom 4. September 2014 E. 2, 2C_101/2008 vom 18. Juni 2008 E. 2.1, 2C_708/2007 vom 19. Mai 2008 E. 3, 2A.74/2003 vom 8. September 2004 E. 3.1). Im Rahmen der Einkommensbesteuerung ist festzustellen, dass die Begriffe selbständige Erwerbstätigkeit und Unternehmen nicht deckungsgleich sind: Zwar ist jeder Unternehmer selbständig erwerbend, aber nicht jeder Selbständigerwerbende ist ein Unternehmer, weil es auch freiberuflich Tätige gibt (vgl. BLUMENSTEIN/LOCHER, a.a.O., S. 212 f.). Im steuerlichen Bereich enthält sodann das Mehrwertsteuergesetz eine explizite Definition des Unternehmensbegriffes: Nach Art. 10 Abs. 1 Satz 2 MWST betreibt ein Unternehmen, wer eine auf die nachhaltige Erzielung von Einnahmen aus Leistungen ausgerichtete berufliche oder gewerbliche Tätigkeit selbständig ausübt (lit. a) und unter eigenem Namen nach aussen auftritt (lit. b).
2.4.5. Im vorliegenden Kontext erübrigt es sich, im Detail auf diese Unternehmensdefinition einzugehen. Massgebend ist, dass der Unternehmensbegriff hier im Zusammenhang mit der Frage, ob eine Betriebsstätte vorliegt, zur Diskussion steht. Nach Art. 4 Abs. 2 Satz 1 DBG gilt als Betriebsstätte eine feste Geschäftseinrichtung, in der die Geschäftstätigkeit eines Unternehmens oder ein freier Beruf ganz oder teilweise ausgeübt wird. Von diesem (einheitlichen) Begriff der Betriebsstätte geht das Bundesgericht auch im Bereiche des internationalen Steuerrechts aus, sowohl was die Betriebsstätte einer ausländischen Unternehmung in der Schweiz betrifft, wie auch den umgekehrten Fall der ausländischen Betriebsstätte einer schweizerischen Unternehmung (Vgl. BGE 139 II 78 E. 2.4.3). Das Steuerharmonisierungsgesetz enthält keine Definition des Betriebsstättebegriffes, ebensowenig wie das Steuergesetz des Kantons Zürich. Hingegen wird dieser Begriff vom Bundesgericht in seiner Rechtsprechung zum interkantonalen Steuerrecht wie folgt definiert: "Eine Betriebsstätte setzt ständige körperliche Anlagen oder Einrichtungen an einem Ort voraus, wo sich eine qualitativ und quantitativ wesentlicher Teil des technischen und kommerziellen Betriebs des Unternehmens vollzieht" (vgl. Urteil 2C_726/2010 vom 25. Mai 2011 E. 3.2.1, mit Nachweisen). Die teilweise leicht unterschiedlichen Gewichtungen des Betriebsstättebegriffes in den verschiedenen vorstehend genannten Bereichen ist vorliegend nicht relevant, ebensowenig wie der Umstand, dass das DBA CH-DE für die Einkünfte aus einem freien Beruf oder sonstiger selbständiger Erwerbstätigkeit ähnlicher Art in Art. 14 eine eigenständige Regelung - auch in Bezug auf die Zuordnung zu festen Einrichtungen im anderen Vertragsstaat - verfügt. Wesentlich ist lediglich, dass jeweils stets von Unternehmenseinkünften (sowie Einkünften aus selbständiger Erwerbstätigkeit) die Rede ist. Damit ergibt sich, dass diese Einkünfte - und die damit verbundenen Aufwände - von finanziellen Auswirkungen abzugrenzen sind, welche nur die Privatsphäre betreffen, d.h. insbesondere von der Verwaltung eigenen Vermögens (vgl. dazu BLUMENSTEIN/LOCHER, a.a.O., S. 214) : Ist eine Aktivität als private Vermögensverwaltung zu qualifizieren, so fehlt es in Bezug darauf an einer selbständigen oder unternehmerischen Tätigkeit (vgl. auch E. 2.3). Diesfalls liegt auf jeden Fall eines der notwendigen Elemente nicht vor, welche gegeben sein müssen, damit die entsprechenden Erträge oder Aufwendungen einer Betriebsstätte zugewiesen werden könnten.
2.4.6. Mit Blick auf die bereits erwähnte Entscheidungsharmonie (vgl. Erw. 2.4.3) ist im weiteren festzustellen, dass auch nach deutscher Auffassung eine auf Gewinnerzielung gerichtete Tätigkeit oder die einer solchen Tätigkeit dienende Betriebseinheit vorliegen muss, und dass die Tätigkeit selbständig ausgeübt werden muss. Negativ wird daraus ebenfalls abgeleitet, dass vermögensverwaltende Tätigkeiten nicht erfasst sind (vgl. Urteile des BFH vom 28. April 2010 [I R 81/09] und vom 4. Mai 2011 [II R 51/09]; vgl. FABIAN G. GAFFRON, in: Aussensteuergesetz Doppelbesteuerungsabkommen, Florian Haase [Hrsg.], 3. Aufl. 2016, N 36 f. zu II MA Art. 3; DANIEL DÜRRSCHMITT, in: Kommentar DBA, a.a.O., N 41a zu Art. 3 sowie ALEXANDER HEMMELRATH, in: Kommentar DBA, a.a.O., N 28 zu Art. 7; KOLB/KUBAILE, Kompaktkommentar zum Doppelbesteuerungsabkommen Deutschland - Schweiz, 3. Aufl. 2015, Ziff. 4.1 zu Art. 7).
2.4.7. In Präzisierung des vorstehend unter Erw. 2.4.2 Ausgeführten ist somit festzuhalten, dass zwar doppelbesteuerungsrechtlich die blosse Tätigkeit in den Betriebsstätteeinrichtungen zur Qualifikation als Betriebsstätte genügt und dort nicht eine eigentliche Geschäftstätigkeit erforderlich ist, dass jedoch als Mindestvoraussetzung für die Annahme einer Betriebsstätte eine - zumindest andernorts ausgeübte - unternehmerische bzw. auf Gewinnerzielung gerichtete Tätigkeit vorhanden sein muss.
3.
Gemäss den Ausführungen des Beschwerdeführers ist die I._ AG & Co. KG die Konzernobergesellschaft und nach wie vor im Privatbesitz der ursprünglichen Gründerfamilie. Die C._ und D._ halten und verwalten die gesamthänderisch gebundenen Finanzreserven der Familie. Die Geschäftsbesorgung erfolgt durch die E._ GmbH, die eine 100%-ige Tochtergesellschaft der C._ ist. Die E._ GmbH ist Komplementärin der C._. Komplementäre der D._ sind ebenfalls die E._ GmbH und H._, der gleichzeitig Geschäftsführer der E._ GmbH ist. Kommanditäre (gemäss deutscher Bezeichnung) von C._ und D._ sind die Familienmitglieder nach Stämmen. Gemäss Gesellschaftsvertrag wird die Geschäftsführung und die gesetzliche Vertretung der C._ durch die Komplementärin, das heisst die E._ GmbH bzw. deren Organe (Geschäftsführer) und vertretungsberechtigte natürliche Personen (Prokuristen) ausgeübt. Im Rahmen eines Dienstleistungsvertrags übernimmt die E._ GmbH die Besorgung des Tagesgeschäfts der C._ und D._. Dieses umfasst auch das unternehmerische Controlling sowie alle buchhalterischen, rechtlichen und steuerlichen Belange der C._ und D._. Diese Tätigkeit ergänzt ihre gesellschaftsrechtliche Stellung als Komplementärin und Organ (Geschäftsführerin).
3.1. Während sich die Vorinstanz nicht dazu geäussert hat, qualifizierte das Steuerrekursgericht die Tätigkeit der C._ und D._ als private Vermögensverwaltung (E. 2 b/bb). Die beiden Gesellschaften würden keine Geschäftstätigkeit betreiben, die über die Verwaltung des Vermögens der Kommanditäre hinausgehe. Gemäss den beiden vorliegenden Gesellschaftsverträgen bezweckten sowohl die C._ als auch die D._ die Anlage von Finanzmitteln im Geld- oder Kapitalmarkt, den Erwerb von Immobilien, Edelmetallen und anderen Vermögensgegenständen und die Verwaltung dieses Vermögens (vgl. je § 2 Abs. 1 des Gesellschaftsvertrags). Wie bereits das Steuerrekursgericht festgestellt hat, weisen die Bilanzen entsprechend auch nur Wertschriften und keine eigentlichen Produktionsmittel auf. Die beiden Gesellschaften erbringen zudem unbestrittenermassen keine anderen Leistungen wie Managementaufgaben oder Consulting und bieten ihre Vermögensverwaltungstätigkeit nicht öffentlich an. An den Feststellungen des Steuerrekursgerichts ist daher nichts auszusetzen. Die ausserordentliche Höhe des verwalteten Vermögens wie auch der Umstand, dass dieses professionell bewirtschaftet wird, haben das Steuerrekursgericht - gemäss bundesgerichtlicher Rechtsprechung (vgl. BGE 98 Ia 212 E. 2 S. 217; vorstehend E. 2.3) - zu Recht nicht davon abgehalten, die Tätigkeit der C._ und D._ als private Vermögensverwaltung zu qualifizieren. Bei den beiden Gesellschaften handelt es sich somit nach internem schweizerischen Recht um nichtkaufmännische Personengesellschaften und der in Deutschland ausgeübten Tätigkeit kommt von vornherein nicht die Qualität eines Geschäftsbetriebs zu, ungeachtet davon, ob die von der E._ GmbH zur Verfügung gestellte Infrastruktur als eigene feste Anlagen und Einrichtungen zu qualifizieren ist.
3.2. Es fehlt damit zumindest an einem der notwendigen Elemente, die für das Vorliegen einer steuerlich relevanten Betriebsstätte gegeben sein müssten, nämlich der unternehmerischen bzw. auf Gewinnerzielung gerichteten Tätigkeit.
3.2.1. Dies hatte das Steuerrekursgericht übersehen, als es zum Schluss kam, dass die C._ und D._ Unternehmen nach Art. 7 Abs. 1 DBA CH-DE seien, welche ihre Tätigkeit in einer ausländischen Betriebsstätte ausübten. Es hat zwar zutreffend erkannt, dass abkommensrechtlich für die Annahme einer Betriebsstätte keine kaufmännische Tätigkeit an diesem Ort selber erforderlich ist (vgl. E. 2.5.2). Gefordert ist jedoch - wie das Kantonale Steueramt zu Recht geltend macht - zumindest eine unternehmerische Tätigkeit, auch wenn diese nicht am Betriebsstätteort ausgeübt werden muss.
3.2.2. Bei diesem Ergebnis erübrigt es sich, weiter auf die vom Steuerrekursgericht eingehend untersuchten Aktivitäten der C._ und D._ sowie der E._ GmbH einzugehen. Da die C._ und D._ als private Vermögensverwaltungsgesellschaften zu qualifizieren sind, welche keine über das Verwalten des Vermögens der Kommanditäre hinausgehende Geschäftstätigkeit betreiben, sind die rechtlichen und tatsächlichen Verhältnisse in der angeblichen Betriebsstätte in Deutschland nicht von Relevanz. Einkommen und Vermögen der C._ und D._ können nicht einer Betriebsstätte in Deutschland zugewiesen werden, sondern sind - wie von der Vorinstanz im Ergebnis zu Recht erkannt - vom Beschwerdeführer an dessen Hauptsteuerdomizil zu versteuern.
4.
Der Beschwerdeführer beantragt subeventualiter einen Einschlag auf den Vermögenswerten der C._ und D._. Die Vorinstanz hat sich mit diesem Antrag bereits auseinandergesetzt und festgestellt, der Gesetzgeber habe nicht Personengesellschaften, deren Veräusserung erschwert sei, privilegieren wollen. Sodann verneinte sie das Vorliegen eines spezifischen Unternehmerrisikos, welches einen Einschlag rechtfertigen würde.
Der Beschwerdeführer setzt sich mit den Erwägungen der Vorinstanz nicht auseinander und zeigt insbesondere nicht auf, inwiefern die Überlegung, wonach er in der fraglichen Struktur das gleiche Risiko trage, wie wenn er sein Vermögen direkt investieren würde, unzutreffend wäre. Bei dieser Sachlage sind die vorinstanzlichen Feststellungen nicht zu beanstanden.
5.
Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Parteientschädigungen werden nicht zugesprochen (Art. 68 Abs. 1 BGG e contrario).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 25'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 23. März 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Mösching