Sachverhalt:
A.
Die Aktien der Architekturbüro A._ AG stehen seit deren Gründung 1971 zu 50 % resp. seit 1975 zu 100 %, jene der B._ AG seit deren Gründung 1973 zu 50 % resp. seit 2003 zu 100 % im Eigentum des A._. Er führt das Einzelunternehmen A._ Generalunternehmung, in dessen Büchern die Aktien seit jeher aufgeführt wurden.
Mit Verfügungen vom 28. November 2014, 19. Dezember 2014 und 13. Januar 2015 setzte die Ausgleichskasse des Kantons Zürich die Beitragspflicht (Beiträge an die Alters- und Hinterlassenen- sowie Invalidenversicherung, für Erwerbsersatz für Dienstleistende und bei Mutterschaft; samt Verwaltungskosten) des A._ für die Jahre 2009 bis 2012 neu fest. Sie verpflichtete ihn zur Zahlung von Fr. 776'305.80 (2009), Fr. 720'349.80 (2010), Fr. 1'130'361.60 (2011) und Fr. 1'839'805.80 (2012). Dabei berücksichtigte sie u.a. die von den genannten Gesellschaften ausgeschütteten Dividenden als beitragspflichtiges Einkommen aus selbstständiger Tätigkeit. Daran hielt sie mit Einspracheentscheid vom 4. Januar 2016 fest.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. Mai 2017 ab.
C.
A._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen, das jeweilige reine Einkommen aus selbstständiger Erwerbstätigkeit sei um die Dividenden von Fr. 2'500'000.- (2009), Fr. 800'000.- (2010), Fr. 1'850'000.- (2011) und Fr. 650'000.- (2012) herabzusetzen. Damit verlangt er sinngemäss die entsprechende Reduktion der Beitragsforderungen.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Vom Einkommen aus selbstständiger Erwerbstätigkeit werden Beiträge an die Alters- und Hinterlassenen- sowie Invalidenversicherung und für Erwerbsersatz für Dienstleistende und bei Mutterschaft erhoben. Für deren Bemessung sind die Bestimmungen des AHVG direkt oder sinngemäss anwendbar (Art. 3 und 8 f. AHVG; Art. 2 f. IVG; Art. 26 f. EOG [SR 834.1]).
1.2. Die Beiträge der erwerbstätigen Versicherten werden in Prozenten des Einkommens aus unselbstständiger und selbstständiger Erwerbstätigkeit festgesetzt (<ref-law>). Einkommen aus selbstständiger Erwerbstätigkeit ist jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt (<ref-law>). <ref-law> (SR 831.101) enthält folgende Begriffsdefinition: Als Einkommen aus selbstständiger Erwerbstätigkeit im Sinne dieser Bestimmung gelten alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach <ref-law> (SR 642.11) und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach <ref-law>, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach <ref-law>.
Einschlägig im Zusammenhang mit der Ausnahme ist Satz 3 von <ref-law>. Danach gelten als Geschäftsvermögen alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen; Gleiches gilt für Beteiligungen von mindestens 20 Prozent am Grund- oder Stammkapital einer Kapitalgesellschaft oder Genossenschaft, sofern der Eigentümer sie im Zeitpunkt des Erwerbs zum Geschäftsvermögen erklärt.
1.3. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht (<ref-ruling> E. 3.1 S. 253; <ref-ruling> E. 2a S. 385).
2.
Streitig war und ist einzig die Qualifikation der Beteiligungen (Aktien) des Beschwerdeführers an der Architekturbüro A._ AG und der B._ AG. Sind sie Teil des Privatvermögens oder "gewillkürtes" resp. "optiertes" Geschäftsvermögen (im Sinne der Ausnahme gemäss <ref-law> in fine), sind auf den entsprechenden Erträgen keine Beiträge geschuldet. Stellen sie hingegen (sonstiges) Geschäftsvermögen dar, unterliegen die Dividenden der Beitragspflicht. Die Vorinstanz hat Letzteres angenommen und den Einspracheentscheid vom 4. Januar 2016 bestätigt.
3.
3.1. Zu Geschäftsvermögen erklärte qualifizierte Beteiligungen im Sinne von Art. 18 Abs. 2 Satz 3 zweiter Teilsatz DBG ("gewillkürtes" resp. "optiertes" Geschäftsvermögen) gehören vom Charakter her zum Privatvermögen. Die seit dem 1. Januar 2001 bestehende Möglichkeit, sie willkürlich zu Geschäftsvermögen zu mutieren, ist einzig steuerpolitisch begründet; sie erlaubt auch Privaten den Abzug der Schuldzinsen im Zusammenhang mit dem Erwerb von qualifizierten Beteiligungen, und zwar über die für sie seit dem 1. Januar 2001 geltende Limite hinaus (vgl. dazu REICH/VON AH, in: Kommentar zum Schweizerischen Steuerrecht, Bundesgesetz über die direkte Bundessteuer, Zweifel/Beusch [Hrsg.], 3. Aufl. 2017, N 57 ff. zu <ref-law>; RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 3. Aufl. 2016, N 115 ff. zu <ref-law>; PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, N 158 ff. zu <ref-law>). Weil es sich sachlich betrachtet um Privatvermögen handelt, sind die Erträge des "gewillkürten" Geschäftsvermögens von der Beitragspflicht ausgenommen (Erläuterungen des BSV zu den Änderungen der AHVV auf den 1. Januar 2001, insbesondere zu Art. 17, in: AHI-Praxis 3/2000 S. 109).
Der Beschwerdeführer geht selber explizit davon aus, dass die interessierenden Beteiligungen kein "gewillkürtes" Geschäftsvermögen darstellen, weshalb sich diesbezügliche Weiterungen erübrigen. Zu prüfen bleibt, ob sie dem Privatvermögen oder aber dem (sonstigen) Geschäftsvermögen zuzuordnen sind.
3.2.
3.2.1. Wie Liegenschaften bilden die hier interessierenden Beteiligungen Alternativgüter, das heisst sie können sowohl zum Geschäfts- wie zum Privatvermögen gehören (vgl. <ref-ruling> E. 4.2 S. 245). Fragen der beitragsrechtlichen Qualifikation entscheiden sich nach den konkreten wirtschaftlichen Gegebenheiten (<ref-ruling> E. 4.2 S. 245; <ref-ruling> E. 1 S. 162). Für die Abgrenzung zwischen selbstständiger Erwerbstätigkeit und Vermögensverwaltung ist grundsätzlich von der steuerrechtlichen Praxis zur Unterscheidung zwischen Privat- und Geschäftsvermögen auszugehen (SVR 2017 AHV Nr. 10 S. 27, 9C_591/2016 E. 3.3).
3.2.2. Ausschlaggebendes Zuteilungskriterium ist die aktuelle technisch-wirtschaftliche Funktion des fraglichen Vermögensgegenstandes. Massgeblich ist also in erster Linie, ob der Gegenstand in seiner tatsächlichen Nutzung dem Geschäft dient. Ob ein Vermögensgegenstand aufgrund seiner technisch-wirtschaftlichen Funktion der selbstständigen Erwerbstätigkeit dient, bestimmt sich letztlich allein nach dem Willen der steuerpflichtigen Person. Sie selber widmet Vermögensgegenstände - etwa durch Sacheinlage, Investition oder Eigenproduktion - geschäftlichen Zwecken, indem sie sie zu Produktionsfaktoren in der geschäftlichen Leistungserstellung macht; in diesem Sinne ist jedes Geschäftsvermögen gewillkürt. Diese Widmung ist ein subjektiver Vorgang. Für die Beantwortung der Zuteilungsfrage kann aber nicht auf einzelne, beliebige Willenserklärungen der steuerpflichtigen Person abgestellt werden. Massgebend sind nicht deren bloss formelle Äusserungen über die Zuteilung eines Vermögensgegenstandes zum Geschäfts- oder zum Privatvermögen, sondern deren (effektiver) Wille hinsichtlich des tatsächlichen Dienens dieser Vermögensgegenstände zu geschäftlichen Zwecken. Das blosse Wollen bzw. dazu den Steuerbehörden abgegebene Erklärungen genügen nicht. Vielmehr muss der Widmungswille in den tatsächlichen Verhältnissen zum Ausdruck gebracht, d.h. effektiv verwirklicht worden sein. Massgebend ist somit eine objektivierte Willenserklärung (StE 2017 B 23.2 Nr. 54, 2C_41/2016 E. 5.2 mit Hinweisen).
3.2.3. Der Wille des Steuerpflichtigen äussert sich vor allem in der buchmässigen Behandlung der Vermögenswerte. Die Aufnahme eines Vermögenswertes in die Bilanz stellt nach der bundesgerichtlichen Praxis ein gewichtiges Indiz dafür dar, dass dieser zum Geschäftsvermögen gehört, sofern er nicht ausdrücklich als Privatvermögen gekennzeichnet und der damit zusammenhängende Aufwand und Ertrag nicht konsequent über das Privatkonto gebucht wird. Die buchmässige Behandlung stellt ein Indiz für die Zuteilung dar, welches nur schwer zu widerlegen ist (StE 2017 B 23.2 Nr. 53, 2C_308/2016 E. 3.4 mit Hinweisen).
Bei Beteiligungsrechten liegt dann Geschäftsvermögen im Sinne von <ref-law> vor, wenn eine enge wirtschaftliche Beziehung zwischen der Beteiligung an der Kapitalgesellschaft und dem Geschäft des Steuerpflichtigen besteht. Eine solche ist insbesondere anzunehmen, wenn die Beteiligung für Geschäftszwecke erworben wurde oder sie dem Inhaber einen massgeblichen Einfluss auf eine Gesellschaft verschafft, deren geschäftliche Tätigkeit seiner eigenen entspricht oder diese sinnvoll ergänzt, was ihm erlaubt, seine ursprüngliche Geschäftstätigkeit auszudehnen. Diese Voraussetzung ist gegeben, wenn der Steuerpflichtige die Beteiligungsrechte konkret dazu einsetzt, um das Geschäftsergebnis seines eigenen Unternehmens bzw. dessen Gewinnchancen zu verbessern (StE 2013 B 23.2 Nr. 42, 2C_802/2012 E. 2.2; StE 2006 B 23.2 Nr. 31, 2A.547/2004 E. 2.3; vgl. auch REICH/VON AH, a.a.O., N 51a-c zu <ref-law>; RICHNER/FREI/KAUFMANN/MEUTER, a.a.O., N 101a zu <ref-law>; PETER LOCHER, a.a.O., N 139 zu <ref-law>).
3.3.
3.3.1. Die Vorinstanz hat festgestellt, dass die interessierenden Beteiligungen nicht ausdrücklich als Privatvermögen gekennzeichnet und der damit zusammenhängende Aufwand und Ertrag nicht konsequent über das Privatkonto gebucht worden seien. Aus diesem Grund ist sie von Geschäftsvermögen ausgegangen.
Dass die vorinstanzliche Feststellung offensichtlich unrichtig (unhaltbar, willkürlich: <ref-ruling> E. 8.1 S. 153; Urteil 9C_607/2012 vom 17. April 2013 E. 5.2) sein oder auf einer Rechtsverletzung beruhen soll, ist nicht ersichtlich und wird auch nicht geltend gemacht (vgl. Art. 42 Abs. 1 und 2 sowie <ref-law>). Sie bleibt für das Bundesgericht verbindlich (Art. 105 Abs. 1 und 2 BGG).
3.3.2. Hinzu kommt Folgendes: Der Beschwerdeführer anerkennt für die Jahre 2009 bis 2012 jeweils ein reines Einkommen aus selbstständiger Tätigkeit (d.h. ohne Anrechnung der Dividenden) zwischen Fr. 4'868'087.- und Fr. 18'266'002.-.
Dem Handelsregister lässt sich u.a. entnehmen, dass die A._ Generalunternehmung den Erwerb, die Erstellung, Finanzierung, Belastung, Vermietung/Verpachtung, Verwaltung und den Verkauf von Immobilien (Grundstücke und Liegenschaften) bezweckt. Sie kann sämtliche Geschäfte tätigen, welche mit dem Zweck direkt oder indirekt in Zusammenhang stehen und sich an anderen gleichartigen oder ähnlichen Unternehmen beteiligen. Die Architekturbüro A._ AG und die B._ AG verfolgen einen identischen Zweck: Die Führung eines Büros für Planung, Projektierung und Bauen und Tätigkeit als Generalunternehmer, kann alle Massnahmen ergreifen und alle Geschäfte tätigen, welche ihren Zweck fördern. Die Gesellschaft ist insbesondere ermächtigt, Immobilien zu erwerben und zu veräussern.
3.3.3. Nach dem Gesagten waren die Geschäftstätigkeiten der Gesellschaften mit jenen der Einzelunternehmung offensichtlich eng verknüpft. Die Beteiligungsrechte waren nicht nur Aktivposten in der Buchhaltung des Einzelunternehmens; sie wurden auch konkret dazu eingesetzt, um dessen Geschäftsergebnisse (und allenfalls auch umgekehrt jene der involvierten Gesellschaften) zu verbessern (vgl. E. 3.2.3).
3.4. Nicht von entscheidender Bedeutung ist, dass der Erwerb der Beteiligungen gemäss Darlegung des Beschwerdeführers aus privaten Mitteln, d.h. durch eine Privateinlage finanziert wurde (vgl. E. 3.2.2), oder dass die Dividenden in einem ersten Schritt direkt auf ein privates Konto des Beschwerdeführers ausbezahlt und erst anschliessend - auf Verlangen des Steuerrevisors - in der Buchhaltung des Einzelunternehmens erfasst wurden. Auch aus dem Vorbringen, die Beteiligungen stets zum Nennwert statt zum Buchwert als Aktiven des Einzelunternehmens geführt zu haben, ergibt sich nichts zu Gunsten des Beschwerdeführers: Selbst wenn er sie damit (implizit; vgl. E. 3.3.1) zu Privatvermögen deklariert haben sollte, ist für die Qualifikation der objektivierte - in den tatsächlichen Verhältnissen zum Ausdruck gebrachte und verwirklichte - Wille entscheidend (vgl. E. 3.2.2). Für die umstrittene Beitragspflicht ist auch nicht ausschlaggebend, wie die Beteiligungen bewertet wurden (vgl. dazu insbesondere <ref-law>), betrifft sie doch lediglich den daraus geflossenen (und in der Höhe unbestrittenen) Ertrag.
Unter den konkret gegebenen Umständen können die interessierenden Beteiligungen nicht als private Kapitalanlage im Sinne der blossen Gründung oder Kapitalerhöhung einer nahe stehenden Kapitalgesellschaft (vgl. LOCHER, a.a.O., N 141 zu <ref-law>) betrachtet werden. Vielmehr handelt es sich um beitragspflichtiges Geschäftsvermögen. Die Beschwerde ist unbegründet.
4.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Kosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 11000.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Mai 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Dormann