Sachverhalt:
Sachverhalt:
A. Mit Beitragsverfügung vom 31. Juli 2002 setzte die Ausgleichskasse des Kantons Zürich die persönlichen Beiträge von P._ für das Jahr 1999 auf Fr. 110'155.80 (einschliesslich Verwaltungskosten) fest. Sie stützte sich dabei auf die Meldung der kantonalen Steuerbehörde vom 28. Juni 2002, in der das Einkommen aus selbständiger Erwerbstätigkeit (Vermerk: "Einmaliger gewerbsmässiger Wertschriftenhandel") für das Berechnungsjahr 1999 mit Fr. 1'142'400.- beziffert wurde, das per 1. Januar 1999 im Betrieb arbeitende Eigenkapital mit Fr. 0.-.
A. Mit Beitragsverfügung vom 31. Juli 2002 setzte die Ausgleichskasse des Kantons Zürich die persönlichen Beiträge von P._ für das Jahr 1999 auf Fr. 110'155.80 (einschliesslich Verwaltungskosten) fest. Sie stützte sich dabei auf die Meldung der kantonalen Steuerbehörde vom 28. Juni 2002, in der das Einkommen aus selbständiger Erwerbstätigkeit (Vermerk: "Einmaliger gewerbsmässiger Wertschriftenhandel") für das Berechnungsjahr 1999 mit Fr. 1'142'400.- beziffert wurde, das per 1. Januar 1999 im Betrieb arbeitende Eigenkapital mit Fr. 0.-.
B. Die gegen die Beitragsverfügung erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 12. November 2003).
B. Die gegen die Beitragsverfügung erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 12. November 2003).
C. P._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, die Beitragsverfügung sei aufzuheben und das AHV-pflichtige Einkommen und Vermögen aus unselbständiger Erwerbstätigkeit sei für das Jahr 1999 auf Fr. 0.- festzulegen.
Die Ausgleichskasse des Kantons Zürich und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Das kantonale Gericht hat die bis 31. Dezember 2000 gültig gewesenen, hier anwendbaren Bestimmungen und Grundsätze über den Begriff des Einkommens aus selbständiger Erwerbstätigkeit (<ref-law>; <ref-law>), die zeitliche Bemessung der Beiträge (<ref-law>), insbesondere bei nebenberuflicher, gelegentlich ausgeübter selbständiger Erwerbstätigkeit (<ref-law>) und die Verbindlichkeit der Meldungen der Steuerbehörden für die Organe der AHV (Art. 23 Abs. 1 und 4 AHVV; <ref-ruling> Erw. 2c, 114 V 75 Erw. 2, 110 V 86 Erw. 4 und 370 Erw. 2a, 102 V 30 Erw. 3a mit Hinweisen; SVR 1998 AHV Nr. 30 Erw. 3 S. 92) zutreffend dargelegt. Darauf wird verwiesen. Richtig ist auch, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den allgemeinen Teil des Sozialversicherungsrechts (ATSG) im vorliegenden Fall nicht anwendbar ist (<ref-ruling> Erw. 1.2, 129 V 169 Erw. 1, 129 V 356 Erw. 1).
2. Das kantonale Gericht hat die bis 31. Dezember 2000 gültig gewesenen, hier anwendbaren Bestimmungen und Grundsätze über den Begriff des Einkommens aus selbständiger Erwerbstätigkeit (<ref-law>; <ref-law>), die zeitliche Bemessung der Beiträge (<ref-law>), insbesondere bei nebenberuflicher, gelegentlich ausgeübter selbständiger Erwerbstätigkeit (<ref-law>) und die Verbindlichkeit der Meldungen der Steuerbehörden für die Organe der AHV (Art. 23 Abs. 1 und 4 AHVV; <ref-ruling> Erw. 2c, 114 V 75 Erw. 2, 110 V 86 Erw. 4 und 370 Erw. 2a, 102 V 30 Erw. 3a mit Hinweisen; SVR 1998 AHV Nr. 30 Erw. 3 S. 92) zutreffend dargelegt. Darauf wird verwiesen. Richtig ist auch, dass das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den allgemeinen Teil des Sozialversicherungsrechts (ATSG) im vorliegenden Fall nicht anwendbar ist (<ref-ruling> Erw. 1.2, 129 V 169 Erw. 1, 129 V 356 Erw. 1).
3. Streitig und zu prüfen ist, ob der aus dem Wertschriftenverkauf resultierende Kapitalgewinn im Jahre 1999 zu Recht als einmaliger gewerbsmässiger Wertschriftenhandel und somit beitragspflichtiges Einkommen aus selbständiger Erwerbstätigkeit qualifiziert worden ist.
3.1 Die Vorinstanz hat hiezu festgestellt, der Meldung des kantonalen Steueramtes sei zu entnehmen, dass der Beschwerdeführer aus einmaligem gewerbsmässigem Wertschriftenhandel im Jahre 1999 einen Kapitalgewinn von insgesamt Fr. 1'142'400.- erzielt habe. Aufgrund der Umstände im Zusammenhang mit der fraglichen Wertschriftentransaktion sei eine Vorgehensweise gegeben, die über eine blosse Vermögensverwaltung hinausgehe.
3.2 Demgegenüber macht der Beschwerdeführer vor allem geltend, die Sozialversicherung sei nicht an die Qualifikation der Steuerbehörden gebunden. Beim fraglichen Aktiengeschäft habe es sich um eine Transaktion im Rahmen rein privater Vermögensverwaltungsmassnahmen gehandelt und die im Sozialversicherungsrecht geforderten Voraussetzungen an eine selbständige Erwerbstätigkeit seien nicht erfüllt.
3.2 Demgegenüber macht der Beschwerdeführer vor allem geltend, die Sozialversicherung sei nicht an die Qualifikation der Steuerbehörden gebunden. Beim fraglichen Aktiengeschäft habe es sich um eine Transaktion im Rahmen rein privater Vermögensverwaltungsmassnahmen gehandelt und die im Sozialversicherungsrecht geforderten Voraussetzungen an eine selbständige Erwerbstätigkeit seien nicht erfüllt.
4. Zur Abgrenzung zwischen privater Vermögensverwaltung und selbständiger Erwerbstätigkeit haben Rechtsprechung und Lehre verschiedene Kriterien entwickelt. Ob eine Erwerbstätigkeit vorliegt, ist immer nach der Gesamtheit der Umstände zu beurteilen (<ref-ruling> Erw. 2a; <ref-ruling> Erw. 3a). Als Indizien für eine über die blosse Vermögensverwaltung hinausreichende Erwerbstätigkeit fallen nach der vorab für die Liegenschaftsgewinne entwickelten Praxis etwa in Betracht: systematische oder planmässige Art und Weise des Vorgehens (insbesondere Bemühungen, die Entwicklung des Marktes zur Gewinnerzielung auszunutzen), Häufigkeit der Transaktionen, kurze Besitzdauer, enger Zusammenhang mit der beruflichen Tätigkeit der steuerpflichtigen Person, Einsatz spezieller Fachkenntnisse oder erheblicher fremder Mittel zur Finanzierung der Geschäfte. Jedes dieser Indizien kann zusammen mit anderen, unter Umständen jedoch auch allein zur Annahme einer selbständigen Erwerbstätigkeit führen.
4.1 Wie die Vorinstanz zu Recht erwogen hat, ist die Vorgehensweise des Beschwerdeführers als planmässig zu bezeichnen. Er tätigte im Januar 1999 Aktienkäufe der Firma X._ im Umfang von Fr. 600'000.- bei einem zeitgleich ausgewiesenen steuerbaren Vermögen von Fr. 166'772.-. Der Beschwerdeführer hätte den Kauf zu diesem Zeitpunkt also lediglich zu einem Viertel aus Eigenmitteln finanzieren können. Dies lässt den Rückschluss zu, dass die Transaktion nur durch die kurzfristige Fremdfinanzierung (Stundung des Kaufpreises bis zum 25. März 1999) möglich war. Bereits nach 2 Monaten konnte der gestundete Kaufpreis durch den Verkauf eines Teils der Aktien der Firma X._ getilgt werden. Die Tatsache, dass das gesamte Vermögen in den Aktienkauf der Firma X._ investiert wurde, macht deutlich, dass nicht von einer blossen Verwaltung gesprochen werden kann. Vielmehr weist das gewählte Vorgehen auf eine professionelle, über die allgemeine Bewirtschaftung eines Wertschriften-Portefeuilles hinausgehende Marktbeobachtung, mit dem Ziel, die Kursentwicklung gewinnbringend auszunutzen. Die geringe Anzahl der getätigten Transaktionen steht der Annahme eines berufsmässigen Vorgehens nicht entgegen.
4.2 Insgesamt sind mehrere der für die Annahme eines einmaligen gewerbsmässigen Wertschriftenhandels massgebenden Kriterien in teilweiser ausgeprägter Weise erfüllt, weshalb die durch die Ausgleichskasse vorgenommene beitragsrechtliche Qualifikation nicht zu beanstanden ist.
4.2 Insgesamt sind mehrere der für die Annahme eines einmaligen gewerbsmässigen Wertschriftenhandels massgebenden Kriterien in teilweiser ausgeprägter Weise erfüllt, weshalb die durch die Ausgleichskasse vorgenommene beitragsrechtliche Qualifikation nicht zu beanstanden ist.
5. Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 30. April 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Der Gerichtsschreiber: