Sachverhalt:
A.
A._ wohnte bis September 2005 in der Schweiz und war seit 2002 bei der Ausgleichskasse des Kantons Zürich als Selbstständigerwerbender erfasst. Am 11. Juli 2008 meldete das Steueramt des Kantons Zürich der Ausgleichskasse Einkommen von Fr. 4'058'958.- für das Jahr 2003, von Fr. 5'284'051.- für das Jahr 2004 und von Fr. 3'923'623.- für das Jahr 2005. Mit (Nachtrags-) Verfügungen vom 22. Juni 2012 setzte die Ausgleichskasse die Beiträge des A._ für Selbstständigerwerbende sowie dessen Beiträge für Arbeitnehmende ohne beitragspflichtigen Arbeitgeber aus unselbstständiger Erwerbstätigkeit für diese drei Jahre fest. Die hiegegen erhobenen Einsprachen hiess die Ausgleichskasse teilweise gut und ermittelte die folgenden Einkommen aus selbstständiger Erwerbstätigkeit (Einspracheentscheid vom 19. Juni 2013) :
für 2003: Fr. 748'000.--
für 2004: Fr. 756'000.--
für 2005: Fr. 1'600'000.--.
B.
Die gegen den Einspracheentscheid erhobene Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. August 2014 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, das kantonale Urteil sei aufzuheben, und es sei das beitragspflichtige Einkommen aus selbstständiger Erwerbstätigkeit für die Jahre 2003, 2004 und 2005 jeweils mit Null festzusetzen; eventualiter sei die Sache zu neuer Entscheidung im Sinne der bundesgerichtlichen Erwägungen an das Sozialversicherungsgericht des Kantons Zürich zurückzuweisen.
Vorinstanz und Ausgleichskasse verzichten auf eine Vernehmlassung, ebenso das Bundesamt für Sozialversicherungen.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Im Streit liegt, ob die Einkünfte des Beschwerdeführers, welche er in den Jahren 2003 bis 2005 gemäss seinen eigenen Angaben als Gewinnanteile aus Beteiligungen an verschiedenen ausländischen Personengesellschaften (Limited Partnerships, im Folgenden: LP) erhalten hat, AHV-rechtlich als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> (SR 831.101) zu qualifizieren sind. Nicht strittig ist die Höhe der Einkünfte und die Anwendbarkeit schweizerischen Rechts.
Ob es sich bei den fraglichen Einnahmen um beitragspflichtiges Erwerbseinkommen oder um beitragsfreien Kapitalertrag handelt, ist eine Rechtsfrage, die das Bundesgericht mit voller Kognition prüft (<ref-law>), wobei die dieser Frage zugrunde liegenden Sachverhaltsfeststellungen der Vorinstanz als Tatfragen nur einer eingeschränkten Überprüfung zugänglich sind (Art. 97 Abs. 1 und 105 Abs. 2 BGG; E. 1 hievor).
3.
3.1. Das kantonale Gericht erwog unter Bezugnahme auf sein früheres rechtskräftiges Urteil vom 7. Dezember 2010 (betreffend die Beitragspflicht des Beschwerdeführers für das Jahr 2002; Prozess-Nr. AB.2009.00043), auch in den Jahren 2003 bis 2005 stütze sich die Beitragspflicht für die Einkünfte aus Beteiligungen an LPs auf <ref-law>. Die Abgabepflicht auf Einkommen aus auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit bestehe grundsätzlich unabhängig von einer eigenen Arbeitsleistung. Eine Beteiligung durch Kapitalinvestition genüge und entspreche einer gesetzlich fingierten Ausübung einer Erwerbstätigkeit. Die Kapitalinvestition sei - gleichsam im Sinne einer fiktiv-logischen Handlung - als die massgebliche Ausübung der Erwerbstätigkeit zu fassen. Nicht einleuchtend sei die unbelegt gebliebene Ähnlichkeit zwischen einer Kommanditgesellschaft für kollektive Kapitalanlagen (KGK) - gemäss dem am 1. Januar 2007 in Kraft getretenen Bundesgesetz über die kollektiven Kapitalanlagen (KAG; SR 951.31) - und einer LP, zumal der Beschwerdeführer weder behauptet noch belegt habe, dass die Gesellschaften, an denen er beteiligt (gewesen) sei, die qualifizierten Anforderungen des Art. 98 Abs. 2 KAG erfüllt hätten.
3.2. Der Beschwerdeführer macht im Wesentlichen geltend, das kantonale Gericht habe <ref-law> verletzt und sich nicht mit seinen Argumenten auseinandergesetzt, wonach es sich bei den LPs nicht um klassische, auf einen Erwerbszweck gerichtete Personengesamtheiten handle, sondern um ein der KGK vergleichbares Investitionsvehikel für Risikokapital. Bei seinen Investitionen in LPs handle es sich ausschliesslich um private Vermögensverwaltung, nicht um Erwerbseinkommen. Die Erhebung von AHV-Beiträgen auf diesen Einkünften verletze den fundamentalen Grundsatz des AHVG, wonach Beiträge nur auf Erwerbseinkommen, nicht aber auf Vermögensertrag geschuldet seien. Auch die einschlägige Rechtsprechung beziehe sich ausschliesslich auf operativ tätige Personengesellschaften wie etwa die GmbH und Co. KG nach deutschem Recht und könne nicht unbesehen auf sämtliche Personengesellschaften übertragen werden. Gerade im Bereich der nicht operativen, einzig zu Investitionszwecken errichteten LPs seien die Unterschiede zur deutschen GmbH und Co. KG frappant. Bei den (angelsächsisch geprägten) LPs handle es sich um typische Anlagevehikel für Private Equity Fonds, die im Rahmen des KAG nunmehr in Form der KGK auch in der schweizerischen Gesetzgebung ihren Niederschlag gefunden hätten und diesen ähnlicher seien als der herkömmlichen Kommanditgesellschaft nach <ref-law>.
4.
4.1. Die Versicherten sind beitragspflichtig, solange sie eine Erwerbstätigkeit ausüben (<ref-law>). Gemäss <ref-law> werden die Beiträge der erwerbstätigen Versicherten in Prozenten des Einkommens aus unselbstständiger und selbstständiger Erwerbstätigkeit festgesetzt. Einkommen aus selbstständiger Erwerbstätigkeit ist jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt (<ref-law>). Darunter fallen "alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach Artikel 18 Absatz 2 DBG (SR 642.11) und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach Artikel 18 Absatz 4 DBG, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach Artikel 18 Absatz 2 DBG" (<ref-law>).
4.2. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des eigenen Vermögens. Der daraus resultierende reine Kapitalertrag unterliegt folglich nicht der Beitragspflicht. Gleiches gilt für Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Dagegen sind Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel-) Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 3.1 S. 253; <ref-ruling> E. 2a S. 385 mit Hinweisen; Urteil 9C_551/2008 vom 16. Januar 2009 E. 2.1).
4.3.
4.3.1. Während gemäss <ref-law> in der bis Ende 1975 gültig gewesenen Fassung lediglich Einkünfte der unbeschränkt haftenden Teilhaber von Kommanditgesellschaften AHV-beitragspflichtig waren und Einkünfte der Kommanditäre grundsätzlich als Kapitalerträge betrachtet wurden (<ref-ruling> E. 1 S. 142), besteht seit 1. Januar 1976 eine generelle Beitragspflicht der Teilhaber von Kollektiv- und Kommanditgesellschaften. Mit der am 1. Januar 1996 in Kraft getretenen, bis heute gültigen Fassung von <ref-law> dehnte der Verordnungsgeber die Beitragspflicht auf Teilhaber an "anderen auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit" aus und bestimmte, die Beiträge seien vom Anteil am Einkommen der Personengesamtheit zu entrichten. Grundgedanke dieser Beitragspflicht war und ist, dass Kommanditäre - anders als blosse Kapitalgeber - direkt, ähnlich den Komplementären, am Gesellschaftsgewinn teilnehmen (<ref-ruling> E. 4.4 S. 266). Die Gesetzmässigkeit dieser Bestimmung hat das Bundesgericht in konstanter Rechtsprechung bejaht (<ref-ruling> E. 4.8, S. 267, 121 V 80 E. 2a S. 81 f.; <ref-ruling> [E. 3 publiziert in ZAK 1988 S. 455]; <ref-ruling>; ZAK 1986 S. 460 E. 4a [H 68/85 vom 25. April 1986], 1985 S. 316 [H 147/84 vom 15. März 1985], 1981 S. 519 [H 60/80 vom 27. November 1980, E. 2a], 1980 S. 223 [H 72/79 vom 8. November 1979 E. 1]; Urteil 9C_455/2008 vom 5. November 2008 E. 5). Für eine abweichende Beurteilung besteht weiterhin kein Anlass.
4.3.2. Wie die Vorinstanz insoweit zutreffend erwog, gelten die Gesellschaftern einer auf einen Erwerbszweck ausgerichteten Personengesamtheit zufliessenden Gewinnanteile gestützt auf <ref-law> - unabhängig von einer persönlichen Arbeitsleistung - als Einkommen aus selbstständiger Tätigkeit. Vorbehalten bleiben Fälle von Rechtsmissbrauch (etwa wenn der AHV im Rahmen der Beteiligung an einer Kommanditgesellschaft die Funktion eines reinen Finanzanlageobjekts zugedacht wird; <ref-ruling>). Als auf einen Erwerbszweck gerichtete Gesellschaft gilt nicht nur die Kollektiv- und die Kommanditgesellschaft, sondern auch die deutsche GmbH & Co. KG (vgl. § 161 Abs. 1 des deutschen Handelsgesetzbuches [HGB]; <ref-ruling> E. 5 S. 267 f.). Die gesetzliche Vermutung für das Vorliegen eines Gewerbebetriebes - und damit die Qualifikation als selbstständige Erwerbstätigkeit - findet indes nicht automatisch auf alle anderen Personengesellschaften Anwendung (vgl. genanntes Urteil 9C_455/2008 E. 5 betreffend eine einfache Gesellschaft und Urteil 9C_1057/2010 vom 24. März 2011 E. 3.3 betreffend Beteiligung an einem Baukonsortium).
5.
5.1. Limited Partnerships sind, wie der Beschwerdeführer zutreffend darlegt, ein vor allem im angelsächsischen Raum entstandenes typisches Anlagevehikel für Private Equity Investitionen. LPs - wie auch die seit 1. Januar 2007 zur Verfügung stehende schweizerische Adaptation in Form der KGK - sind definitionsgemäss keine operativen Gesellschaften, die eine unternehmerische Tätigkeit ausüben, sondern ausschliesslich kollektive Anlagevehikel, welche die Erzielung von Erträgen oder Kapitalgewinnen bezwecken (vgl. Art. 2 KAG; Botschaft des Bundesrates vom 23. September 2005 zum Bundesgesetz über die kollektiven Kapitalanlagen [Kollektivanlagengesetz], BBl 2005 6395 ff., 6423; Bloch/von der Crone, Operative Gesellschaft oder kollektive Kapitalanlage?, SZS 2011 S. 214, 219). Wie die Kommanditgesellschaft des kontinentaleuropäischen Rechts umfasst die LP zwei Arten von Gesellschaftern: Auf der einen Seite den General Partner (Komplementär), welcher mit seinem ganzen Vermögen unbeschränkt haftet und zur Führung der Gesellschaft befugt ist. Andererseits Limited Partners (Kommanditäre), die nur mit ihrer Einlage haften, aber an der Geschäftsführung nicht teilnehmen dürfen. Das Innenverhältnis der Gesellschafter wird üblicherweise in einem schriftlichen Limited Partnership Agreement geregelt. Ein als LP ausgestalteter Private Equity Fund kann darin die Grundzüge seiner Anlagepolitik frei definieren. Die Limited Partners (Investoren) verpflichten sich zur Einlage einer bestimmten Kapitalsumme (Committed Capital), welche während einer definierten Frist (Commitment Period) nach Bedarf durch den General Partner (Fund Manager) abgerufen (Take Down) und in ausgewählte Portfoliogesellschaften investiert wird. Typischerweise wird die LP nach einer festgelegten Maximaldauer von rund 10 Jahren aufgelöst und das vorhandene Kapital an die Investoren verteilt (Christian Böhler, Anlagevehikel für Private Equity; Einführung der Limited Partnership im schweizerischen Recht, Der Schweizer Treuhänder 2006, S. 506 ff.). Im Private Equity Geschäft übernimmt somit - zusammengefasst - ein Investor die kurz- bis mittelfristige Risikokapitalfinanzierung eines nicht börsenkotierten Unternehmens (vgl. auch 4C.214/2003 vom 21. November 2003 E. 3.2 mit Literaturhinweisen).
5.2.
5.2.1. Auch wenn die in den Jahren 2003 bis 2005 erzielten Erträge aus Beteiligungen an ausländischen Personengesamtheiten stammen und das KAG erst seit 1. Januar 2007 in Kraft steht, ist zu prüfen, ob sich der Entstehungsgeschichte des Gesetzes Hinweise entnehmen lassen, die der Klärung der hier strittigen sozialversicherungsrechtlichen Beitragspflicht dienen. Denn der Gesetzgeber schuf mit der KGK ein in Bezug auf Anlegerkreis, Anlagen und zeitliche Dauer der angelsächsischen LP vergleichbares Instrument (vgl. Thomas Jutzi, Der Einfluss des EU-Rechts auf das schweizerische Recht der kollektiven Kapitalanlagen, AJP 1/2015 S. 14), weshalb es naheliegt, auch die sozialversicherungsrechtliche Behandlung zumindest insoweit analog zu handhaben, wie die ausländischen Vehikel und die schweizerische KGK vergleichbar ausgestaltet sind. Die vom Eidgenössischen Finanzdepartement eingesetzte Expertenkommission zur Totalrevision des Bundesgesetzes über die Anlagefonds vom 18. März 1994 schlug in ihrem Erläuterungsbericht samt Gesetzesentwurf vom November 2003 (abrufbar unter www.svig.org) in der Tat eine Ergänzung von <ref-law> vor, wonach die Anleger von Kommanditgesellschaften für kollektive Kapitalanlagen für ihren Anteil von einer AHV-Beitragspflicht befreit sein sollen.
5.2.2. In der bundesrätlichen Botschaft finden sich insbesondere Ausführungen zu Steuerfragen. Betreffend die AHV-Beitragspflicht führte der Bundesrat Folgendes aus (Botschaft, a.a.O., 6429 f.) :
"Auf der Stufe der Kommanditgesellschaft für kollektive Kapitalanlagen bedeutet das namentlich, dass die Gesellschaft als solche steuerfrei ist, auf den ausgeschütteten Vermögenserträgen, nicht aber auf den erzielten Kapitalgewinnen, die Verrechnungssteuer erhoben wird und die von der Gesellschaft erwirtschafteten Gewinne nicht AHV-pflichtig sind. Auf der Stufe der Anlegerinnen und Anleger unterliegen die ausgeschütteten Vermögenserträge der Einkommens- bzw. der Gewinnsteuer, während Kapitalgewinne (im Privatvermögen) steuerfrei sind. (...).
Wer als in der Schweiz steuerpflichtige Privatperson heute Anteile an vertraglichen Anlagefonds kauft oder verkauft, wird nach der Praxis der Steuerbehörden und gemäss zweier obiter dicta des Bundesgerichts [ASA 66 S. 381] aufgrund dieses Umstandes alleine nicht Gefahr laufen, als (Quasi) -Wertschriftenhändler qualifiziert zu werden und in der Folge sämtliche Einkünfte aus selbstständiger (Neben-) Erwerbstätigkeit versteuern zu müssen. Zu begründen ist dieser Umstand u.a. damit, dass die Fondsleitung das Fondsvermögen selbstständig und in eigenem Namen verwaltet und die Anlegerinnen und Anleger ihr gegenüber keinerlei Weisungsrechte haben. Die Handlungen der Fondsleitung können den Anlegerinnen und Anlegern deshalb steuerlich nicht zugerechnet werden. Da bei den neuen kollektiven Kapitalanlagen gesetzlich sichergestellt ist, dass die rechtliche und faktische Distanz zwischen den Anlegerinnen und Anlegern und der Verwalterin oder dem Verwalter der kollektiven Kapitalanlage gegeben ist, sind jene auch bei den neuen Formen in Übereinstimmung mit der heutigen Praxis nicht als gewerbsmässige Wertschriftenhändler zu qualifizieren."
5.2.3. Der parlamentarischen Debatte zum Kollektivanlagengesetz (Geschäft Nr. 05.072; AB 2006 N 49 ff., 59 ff., 76 ff., 838 ff., 859 ff., und 992 ff.; AB 2006 S 340 ff., 449 ff. und 536 ff.) ist kein Hinweis auf die Beitragsbefreiung der Anleger-Kommanditäre zu entnehmen (vgl. hiezu auch Urs Behnisch/Andrea Opel, Steuerfragen bei Umstrukturierungen; Gedanken zur Attraktivitätssteigerung der Kommanditgesellschaft nach OR und KAG, in: Dogmatik und Praxis im Steuerrecht, Festschrift für Markus Reich, 2014, S. 247). Die bereits in der bundesrätlichen Botschaft nicht (mehr) erwähnte, von der Expertenkommission vorgeschlagene Ergänzung des Artikels 20 Abs. 3 AHVV (vorangehende E. 5.2.1) blieb unberücksichtigt.
5.3.
5.3.1. In der Literatur wird gestützt auf die in E. 5.2.2 hievor zitierte kurze Passage in der Botschaft - meist ohne weitere Begründung - die Auffassung vertreten, Einlagen in LPs und gleichermassen in Kommanditgesellschaften für kollektive Kapitalanlagen seien "nicht AHV-pflichtig" (z.B. Stefan Oesterhelt, in: Basler Kommentar zum Kollektivanlagengesetz, 2009, N. 202 vor Art. 1 KAG; Du Pasquier/Oberson, La société en commandite de placements collectifs, Aspects juridiques et fiscaux, SZW 2007 S. 207 f., 217; Beilstein/ Scagnet, Unter dem Joch der Schweizerischen Sozialversicherung, Vollumfängliche AHV-Beitragspflicht für die neue KGK und die deutsche GmbH & Co. KG, Der Schweizer Treuhänder 2008 S. 750 ff., 753 f.; Alexander Vogel, KAG - Bundesgesetz über die kollektiven Kapitalanlagen, 2008, S. XIX; Hess/Scherrer, Die Besteuerung der kollektiven Kapitalanlagen gemäss Kollektivanlagengesetz und deren Anleger, ASA 77 [2008] S. 361 ff., 412). Eingehender befasst sich Stephanie Purtschert Hess mit den Auswirkungen von <ref-law> auf die neugeschaffenen Investitionsvehikel (Die EU-Verordnungen 883/04 und 987/09 und daraus resultierende Problemfelder, SZS 2013 S. 375 ff.). Nach Meinung dieser Autorin fallen Personengesamtheiten ohne juristische Persönlichkeit wie Trusts, Kommanditgesellschaften für kollektive Kapitalanlagen oder einfache Gesellschaften allesamt mangels eines Erwerbszwecks nicht in den Anwendungsbereich von <ref-law>. Die Verwaltung von Vermögenswerten stelle für die Teilhaber nur dann eine Erwerbstätigkeit dar, wenn sie als gewerbsmässiger Wertschriftenhandel und damit als selbstständige Erwerbstätigkeit qualifiziert werden müsste. Dies sei gemäss Kreisschreiben der Eidgenössischen Steuerverwaltung (ESTV) Nr. 25 vom 5. März 2009 Ziff. 3.3.1 (abrufbar unter www.estv.admin.ch) nicht der Fall, was auch im Sozialversicherungsrecht übernommen werden könne (a.a.O., S. 378).
5.3.2. Bei genauer Betrachtung ist der bundesrätlichen Botschaft zum KAG - entgegen zahlreicher Hinweise in der Literatur (vorangehende E. 5.3.1) - nichts Eindeutiges zur AHV-Beitragspflicht des einzelnen Anlegers zu entnehmen. Es steht zwar fest, dass mit der Zulassung neuer Anlagevehikel im schweizerischen Recht eine Steigerung der Wettbewerbsfähigkeit und Attraktivität des hiesigen Vermögensverwaltungsplatzes bezweckt wurde (Botschaft, a.a.O., 6422). Dazu sollte namentlich die Steuerfreiheit der Gesellschaften als solcher beitragen, auf deren Gewinne auch keine AHV-Beiträge erhoben werden (Botschaft, a.a.O., 6429 Ziff. 1.3.11). Die grundsätzliche (zu Einzelheiten vgl. Behnisch/Opel, a.a.O., S. 248 f.) Steuerpflicht auf ausgeschütteten Vermögenserträgen auf Stufe der Anlegerinnen und Anleger (<ref-law>) spräche hingegen unter dem Aspekt der weitgehenden Parallelität zwischen Steuer- und AHV-Recht (vgl. <ref-ruling> E. 4.2 S. 245) für eine entsprechende AHV-Beitragspflicht.
5.4. Es kann davon ausgegangen werden, dass der Verordnungsgeber bei der letzten Anpassung von <ref-law> (in der seit 1. Januar 1996 geltenden Fassung) die damals noch wenig verbreiteten Investitionsvehikel im Private Equity Bereich nicht im Fokus hatte, zumal solche Anlageformen erst per 1. Januar 2007 gesetzlich geregelt wurden und die LP in Form der KGK eine Adaptation im schweizerischen Recht fand. Nachdem im Gesetzgebungsverfahren eine Anpassung des AHV-Beitragsrechts nicht thematisiert wurde, obwohl mit dem Vorschlag der Expertenkommission eine einschlägige Vorlage bestanden hätte, und somit Hinweise auf einen klaren gesetzgeberischen Willen fehlen, wie im Zuge des KAG die AHV-Beitragspflicht der Teilhaber von Personengesamtheiten, die ausschliesslich der kollektiven Kapitalanlage dienen, gehandhabt werden sollte, besteht (vorerst) kein Grund, von der ständigen Praxis abzuweichen, wonach für eine Beitragspflicht gestützt auf - den unverändert belassenen - <ref-law> der erwerbliche Charakter einer Personengesellschaft entscheidend ist (E. 4.3.1 hievor). Vielmehr ist daran festzuhalten, dass unter dem Titel von <ref-law> Erträge aus kollektiven Kapitalanlagen grundsätzlich (vgl. aber E. 6.3.3 hienach) nicht AHV-beitragspflichtig sind. Dies trifft namentlich zu auf die KGK, der eine unternehmerische Tätigkeit von Gesetzes wegen (Art. 2 Abs. 2 lit. d KAG) verwehrt ist. Gleiches muss gelten für ausländische LPs, soweit sie (in den wesentlichen Zügen; vgl. Art. 98 KAG) der KGK entsprechen. Wenn auch mit jeder Investition in eine kollektive Kapitalanlage eine Gewinnerwartung verbunden ist, unterscheidet sich die Einzahlung in einen Anlagefonds demnach klar von der Investition in eine primär auf Erwerb ausgerichtete Gesellschaft. Es ist nicht Aufgabe des Bundesgerichts, die AHV-rechtliche Beitragspflicht weiter zu fassen als der Gesetz- und Verordnungsgeber.
6.
6.1. Die Vorinstanz stellte fest, es bestünden keine Anhaltspunkte, wonach die LPs, an denen der Beschwerdeführer beteiligt (gewesen) sei, die qualifizierten Anforderungen von Art. 98 Abs. 2 KAG erfüllten. Wie es sich damit verhält, kann indes aus nachfolgend dargelegten Gründen offenbleiben.
6.2. Ob das kantonale Gericht zu Recht eine Beitragspflicht des Beschwerdeführers bejahte, ist letztinstanzlich unter allen Rechtstiteln zu prüfen (Rechtsanwendung von Amtes wegen; <ref-law>). Dabei stellt sich insbesondere die Frage, ob mit Blick auf die Art und Weise, wie der Beschwerdeführer mit seinen Vermögenswerten umging, d.h. wie er sie nutzte, mit ihnen disponierte etc., auf eine Erwerbsabsicht im Sinne des Gesetzes (<ref-law>) zu schliessen ist.
In gefestigter Rechtsprechung berücksichtigt das Bundesgericht bei der entsprechenden Prüfung die folgenden Beurteilungskriterien (Urteil des Eidg. Versicherungsgerichts H 185/03 vom 24. März 2004 E. 7) :
- systematisches oder planmässiges Vorgehen, insbesondere das Bemühen, die Entwicklung des Marktes zur Gewinnerzielung auszunutzen;
- Häufigkeit der Transaktionen;
- eine kurze Besitzdauer;
- ein enger Zusammenhang mit der beruflichen Tätigkeit;
- der Einsatz spezieller Fachkenntnisse;
- erhebliche Fremdmittel zur Finanzierung der Geschäfte;
- Wiederanlage des erzielten Gewinns in gleichartigen Vermögensgegenständen.
Nicht erforderlich für die Annahme einer (selbstständigen) Erwerbstätigkeit ist dagegen die nach aussen sichtbare Teilnahme am Wirtschaftsverkehr.
6.3.
6.3.1. Gemäss den in den Akten liegenden Steuermeldungen, den Steuererklärungen, den vom Beschwerdeführer im Zusammenhang mit seiner Erfassung als Selbstständigerwerbender gemachten Angaben und seiner eigenen Darstellung in den Rechtsschriften, übte er bis zur Übersiedelung nach Asien per 1. Oktober 2005 immer auch eine unselbstständige Erwerbstätigkeit aus. Für das Jahr 2003 anerkannte er seine Beitragspflicht als Arbeitnehmer ohne beitragspflichtigen Arbeitgeber bei der Firma B._, ab 2004 war er ausschliesslich in Grossbritannien tätig. Die Tätigkeiten erfolgten weiterhin unter dem Dach des Investment-Unternehmens B._.
6.3.2. Wie aus der Bezeichnung der Vermögenswerte mit Steuerwert per 31. Dezember 2004 und 31. Dezember 2005 hervorgeht, investierte der Beschwerdeführer zu einem wesentlichen Teil in LPs, welche von der Firma B._ gehalten wurden. Bei einer solchen organischen Beziehung zwischen (unselbstständiger) Erwerbstätigkeit einerseits und Vermögensanlage anderseits nimmt das Bundesgericht in ständiger Rechtsprechung (namentlich betreffend Wertschriften- und Liegenschaftenhändler; z.B. Urteile des Eidg. Versicherungsgerichts H 72/01 vom 2. Mai 2002 E. 4.2; H 251/93 vom 6. Juni 1994 E. 3b mit Hinweisen) auch für die Investitionstätigkeit einen erwerblichen Charakter an (statt vieler: Urteil 9C_33/2013 vom 12. November 2013 E. 4 mit Hinweisen). Für eine abweichende Betrachtungsweise besteht im konkreten Fall kein Anlass.
6.3.3. Zunächst vermag am inneren Zusammenhang von erwerblicher und Anlagetätigkeit nichts zu ändern, dass die unselbstständige Erwerbstätigkeit nur zeitweilig in der Schweiz ausgeübt wurde. Sodann darf ein enger Konnex ohne weiteres auch bezüglich der in den Steuerwertverzeichnissen aufgeführten LPs angenommen werden, die wirtschaftlich oder rechtlich nicht mit dem damaligen Arbeitgeber zusammenhingen. Ein relevanter kausaler Zusammenhang zwischen der unselbstständigen Erwerbs- und der Investitionstätigkeit ist vielmehr bereits deshalb offensichtlich, weil der Beschwerdeführer notorisch haupt- wie nebenberuflich gewerbsmässig als Investor tätig war (vgl. auch genantes Urteil 9C_33/2013 E. 4). Es kann keine Rede davon sein, er habe lediglich zufällig sich bietende Gelegenheiten ausgenützt, um Gewinn auf privatem Vermögen zu erzielen (was er im Übrigen zu Recht auch nicht geltend macht). Die von ihm getätigten Investitionen in den Jahren 2003 bis 2005 sprengten den Rahmen dessen deutlich, was für die Anlage eines grossen privaten Vermögens üblich und verbreitet ist. Selbst wenn die Wertschriftentransaktionen der einzelnen kollektiven Kapitalanlagen den Anlegern nicht als gewerbsmässiger Wertschriftenhandel zugeordnet werden können, weil die Fondsleitung oder die Organe selbstständig handeln, den Anlegern ihnen gegenüber kein Weisungsrecht zukommt (Kreisschreiben Nr. 25 der ESTV, a.a.O.) und demzufolge Investitionen in kollektive Kapitalanlagen ohne Erwerbszweck, soweit sie in üblichem Mass erfolgen, nicht ohne weiteres eine AHV-Beitragspflicht auslösen (E. 5.4 hievor), vermöchte der Beschwerdeführer daraus nichts zu seinen Gunsten abzuleiten. Er tätigte als gewerbsmässiger Investor unter Einsatz erheblicher Mittel eine Vielzahl kollektiver Risikokapitalanlagen, die überdies zumindest teilweise einen engen Bezug zur Arbeitgeberfirma aufwiesen. Der erwerbliche Charakter der Investitionen ist offensichtlich. Damit besteht eine integrale AHV-Beitragspflicht des Beschwerdeführers, was zur Abweisung der Beschwerde führt.
7.
Entsprechend dem Verfahrensausgang werden die Gerichtskosten dem Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 8'000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. März 2015
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Glanzmann
Die Gerichtsschreiberin: Bollinger Hammerle