Sachverhalt: A. A._ wohnte bis September 2005 in der Schweiz und war seit 2002 bei der Ausgleichskasse des Kantons Zürich als Selbstständigerwerbender erfasst. Am 11. Juli 2008 meldete das Steueramt des Kantons Zürich der Ausgleichskasse Einkommen von Fr. 4'058'958.- für das Jahr 2003, von Fr. 5'284'051.- für das Jahr 2004 und von Fr. 3'923'623.- für das Jahr 2005. Mit (Nachtrags-) Verfügungen vom 22. Juni 2012 setzte die Ausgleichskasse die Beiträge des A._ für Selbstständigerwerbende sowie dessen Beiträge für Arbeitnehmende ohne beitragspflichtigen Arbeitgeber aus unselbstständiger Erwerbstätigkeit für diese drei Jahre fest. Die hiegegen erhobenen Einsprachen hiess die Ausgleichskasse teilweise gut und ermittelte die folgenden Einkommen aus selbstständiger Erwerbstätigkeit (Einspracheentscheid vom 19. Juni 2013) : für 2003: Fr. 748'000.-- für 2004: Fr. 756'000.-- für 2005: Fr. 1'600'000.--. B. Die gegen den Einspracheentscheid erhobene Beschwerde des A._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. August 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, das kantonale Urteil sei aufzuheben, und es sei das beitragspflichtige Einkommen aus selbstständiger Erwerbstätigkeit für die Jahre 2003, 2004 und 2005 jeweils mit Null festzusetzen; eventualiter sei die Sache zu neuer Entscheidung im Sinne der bundesgerichtlichen Erwägungen an das Sozialversicherungsgericht des Kantons Zürich zurückzuweisen. Vorinstanz und Ausgleichskasse verzichten auf eine Vernehmlassung, ebenso das Bundesamt für Sozialversicherungen.