Sachverhalt:
Sachverhalt:
A. Gestützt auf die Steuermeldung vom 15. Dezember 1999 für die Steuerperiode 1995/96 erfasste die Ausgleichskasse des Kantons Zürich R._ als Selbstständigerwerbenden und setzte mit Verfügung vom 23. Dezember 1999 die Beiträge für das Jahr 1994 gemäss dem gemeldeten Einkommen aus Liegenschaftshandel von Fr. 1'518'089.- und einem investierten Eigenkapital von Fr. 0.- fest. Gleichentags forderte sie auf diesen Beiträgen Verzugszinsen von Fr. 43'180.05.
A. Gestützt auf die Steuermeldung vom 15. Dezember 1999 für die Steuerperiode 1995/96 erfasste die Ausgleichskasse des Kantons Zürich R._ als Selbstständigerwerbenden und setzte mit Verfügung vom 23. Dezember 1999 die Beiträge für das Jahr 1994 gemäss dem gemeldeten Einkommen aus Liegenschaftshandel von Fr. 1'518'089.- und einem investierten Eigenkapital von Fr. 0.- fest. Gleichentags forderte sie auf diesen Beiträgen Verzugszinsen von Fr. 43'180.05.
B. R._ liess hiegegen Beschwerde erheben und u.a. die Sistierung des Verfahrens bis zum Vorliegen des bundesgerichtlichen Urteils über die Steuerveranlagung 1995/96 beantragen. Die Ausgleichskasse schloss sich dem Sistierungsantrag an. Diesem Begehren kam das Sozialversicherungsgericht des Kantons Zürich mit Verfügung vom 6. April 2001 nach. Im Nachgang zum bundesgerichtlichen Urteil vom 15. Februar 2002 (2A.234/2001), mit welchem der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich, wonach sich der Gewinn aus Liegenschaftshandel auf Fr. 1'870'076.- belaufe, bestätigt wurde, verfügte die Ausgleichskasse gestützt auf die Steuermeldung vom 23. April 2002 pendente lite am 13. Mai 2002 persönliche Beiträge für das Jahr 1994 von Fr. 180'315.-. Dagegen erhob R._ erneut Beschwerde. Mit Verfügung vom 30. September 2002 vereinigte das Sozialversicherungsgericht die beiden Verfahren, hob die Sistierung auf und gab R._ mit dem Hinweis auf eine mögliche Schlechterstellung die Gelegenheit zum Rückzug seiner Beschwerde. R._ beantragte, es seien unter Berücksichtigung eines investierten Eigenkapitals in der Höhe des Vermögenswertes der verkauften Liegenschaft Beiträge von Fr. 131'276.90 zuzüglich Verzugszinsen von Fr. 7574.30 festzusetzen; im Übrigen ziehe er seine Beschwerde zurück. Mit Entscheid vom 29. August 2003 wies das Sozialversicherungsgericht die Beschwerde ab, hiess Beiträge von Fr. 180'315.- gut und erhöhte die Verzugszinsen auf Fr. 53'192.90.
B. R._ liess hiegegen Beschwerde erheben und u.a. die Sistierung des Verfahrens bis zum Vorliegen des bundesgerichtlichen Urteils über die Steuerveranlagung 1995/96 beantragen. Die Ausgleichskasse schloss sich dem Sistierungsantrag an. Diesem Begehren kam das Sozialversicherungsgericht des Kantons Zürich mit Verfügung vom 6. April 2001 nach. Im Nachgang zum bundesgerichtlichen Urteil vom 15. Februar 2002 (2A.234/2001), mit welchem der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich, wonach sich der Gewinn aus Liegenschaftshandel auf Fr. 1'870'076.- belaufe, bestätigt wurde, verfügte die Ausgleichskasse gestützt auf die Steuermeldung vom 23. April 2002 pendente lite am 13. Mai 2002 persönliche Beiträge für das Jahr 1994 von Fr. 180'315.-. Dagegen erhob R._ erneut Beschwerde. Mit Verfügung vom 30. September 2002 vereinigte das Sozialversicherungsgericht die beiden Verfahren, hob die Sistierung auf und gab R._ mit dem Hinweis auf eine mögliche Schlechterstellung die Gelegenheit zum Rückzug seiner Beschwerde. R._ beantragte, es seien unter Berücksichtigung eines investierten Eigenkapitals in der Höhe des Vermögenswertes der verkauften Liegenschaft Beiträge von Fr. 131'276.90 zuzüglich Verzugszinsen von Fr. 7574.30 festzusetzen; im Übrigen ziehe er seine Beschwerde zurück. Mit Entscheid vom 29. August 2003 wies das Sozialversicherungsgericht die Beschwerde ab, hiess Beiträge von Fr. 180'315.- gut und erhöhte die Verzugszinsen auf Fr. 53'192.90.
C. R._ führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Antrag, der vorinstanzliche Entscheid sei aufzuheben. Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Die Vorinstanz hat die Grundsätze über die zeitliche Anwendung des am 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 (<ref-ruling> Erw. 1.2 mit Hinweisen) sowie der massgeblichen Normen der Verzugszinsen (Abs. 4 der Übergangsbestimmung zur Änderung der Verordnung über die Alters- und Hinterlassenenversicherung vom 1. März 2000) zutreffend dargelegt. Dasselbe gilt für die Bestimmungen und die Rechtsprechung über die Festsetzung der Beiträge Selbstständigerwerbender im ordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441), die Massgeblichkeit der Steuermeldung (Art. 23 Abs. 1 und 4 AHVV in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441; AHI 1997 S. 25 Erw. 2b mit Hinweisen), die Ermittlung des beitragspflichtigen Einkommens (<ref-law>), insbesondere des investierten Eigenkapitals (<ref-law>, <ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441), sowie die Pflicht zur Bezahlung von Verzugszinsen (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441). Ebenfalls richtig ist die Rechtsprechung zu den pendente lite erlassenen Verfügungen (<ref-ruling> Erw. 2b/bb mit Hinweisen), welche auch unter der Herrschaft des am 1. Januar 2003 in Kraft getretenen <ref-law> ihre Geltung beibehält (nicht veröffentlichtes Urteil K. vom 20. April 2004, I 653/03). Darauf wird verwiesen.
2. Die Vorinstanz hat die Grundsätze über die zeitliche Anwendung des am 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 (<ref-ruling> Erw. 1.2 mit Hinweisen) sowie der massgeblichen Normen der Verzugszinsen (Abs. 4 der Übergangsbestimmung zur Änderung der Verordnung über die Alters- und Hinterlassenenversicherung vom 1. März 2000) zutreffend dargelegt. Dasselbe gilt für die Bestimmungen und die Rechtsprechung über die Festsetzung der Beiträge Selbstständigerwerbender im ordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441), die Massgeblichkeit der Steuermeldung (Art. 23 Abs. 1 und 4 AHVV in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441; AHI 1997 S. 25 Erw. 2b mit Hinweisen), die Ermittlung des beitragspflichtigen Einkommens (<ref-law>), insbesondere des investierten Eigenkapitals (<ref-law>, <ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441), sowie die Pflicht zur Bezahlung von Verzugszinsen (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441). Ebenfalls richtig ist die Rechtsprechung zu den pendente lite erlassenen Verfügungen (<ref-ruling> Erw. 2b/bb mit Hinweisen), welche auch unter der Herrschaft des am 1. Januar 2003 in Kraft getretenen <ref-law> ihre Geltung beibehält (nicht veröffentlichtes Urteil K. vom 20. April 2004, I 653/03). Darauf wird verwiesen.
3. 3.1 Der Beschwerdeführer macht geltend, das ganze Verfahren sei willkürlich, weil der Kanton Zürich einerseits Nutzniesser der von ihm zu bezahlenden Steuern und AHV-Beiträge sowie andererseits verantwortlich für die den Steuer- und AHV-Beitragsforderungen zugrunde liegende Grundstücksenteignung sei. Dass ein Gemeinwesen die ihm von der Verfassung und dem Gesetz übertragenen Aufgaben wahrnimmt, macht dessen Tätigwerden nicht willkürlich. Inwiefern das Beitragsverfahren als solches willkürlich verlaufen sein soll, legt der Beschwerdeführer jedoch nicht dar. Sein allgemeiner Einwand ist somit unbegründet und bedarf keiner weiteren Erörterung.
3.2 Entgegen der Ansicht des Beschwerdeführers war die Ausgleichskasse des Kantons Zürich zuständig für die Erhebung der Beiträge aus selbstständiger Erwerbstätigkeit (<ref-law>). Daran ändert auch der Umstand nichts, dass der Beschwerdeführer im Übrigen seine Beiträge bei einer anderen Ausgleichskasse abrechnet. Denn das dort erfasste Einkommen ist massgebender Lohn aus seiner Tätigkeit als angestellter Architekt bei der Firma X._ AG sowie allenfalls der Y._ AG; im hier streitigen Fall geht es hingegen um Einkommen aus selbstständiger Erwerbstätigkeit.
3.3 Gemäss <ref-law> verwirken Beiträge innert fünf Jahren nach Ablauf des Kalenderjahres, für welches sie geschuldet werden. <ref-law> in der ab 1. Januar 1997 geltenden Fassung bestimmt, dass für Beiträge nach Art. 6, Art. 8 Abs. 1 und Art. 10 Abs. 1 AHVG diese Frist erst ein Jahr nach Ablauf des Kalenderjahres, in welchem die massgebende Steuerveranlagung rechtskräftig wurde, endet. Für den hier zu beurteilenden Fall ist die ab 1. Januar 1997 in Kraft stehende Fassung massgebend (lit. b Abs. 1 der Schlussbestimmungen der 10. AHV-Revision).
Streitig sind Beiträge für das Jahr 1994, welche gestützt auf die Steuerveranlagung 1995/96 erhoben werden. Diese Steuerveranlagung wurde erst mit Urteil des Bundesgerichts vom 15. Februar 2002 rechtskräftig. Demnach endet die Frist nach <ref-law> erst am 31. Dezember 2003. Bei dieser Rechtslage kann offen bleiben, ob dem Beschwerdeführer die streitige Verfügung vom 23. Dezember 1999 noch in demselben Jahr oder erst im Januar 2000 zuging, da die Beiträge so oder anders nicht verwirkt sind, er offensichtlich in der Lage war, rechtzeitig Beschwerde zu erheben, und ihm zudem aus der behaupteten unrechtmässigen Zustellung keine Rechtsnachteile erwachsen sind (<ref-ruling> Erw. 4c; ZAK 1992 S. 221 Erw. 5, je mit Hinweisen).
3.4 Zu prüfen bleibt die massliche Beitragsfestsetzung.
3.4.1 Mit dem kantonalen Gericht ist festzuhalten, dass keine Gründe ersichtlich sind, die ein Abweichen von dem von den Steuerbehörden gestützt auf das bundesgerichtliche Urteil vom 15. Februar 2002 gemeldeten beitragspflichtigen Einkommen von gerundet Fr. 1'870'000.- rechtfertigen würden. Insbesondere sind Vorinstanz und Verwaltung zu Recht davon ausgegangen, dass dem gemeldeten Einkommen eine beitragspflichtige selbstständige Erwerbstätigkeit zugrunde liegt. Das Bundesgericht hat denn auch in überzeugender Weise dargelegt, weshalb bei der Veräusserung der Liegenschaft Z._ von einer selbstständigen Erwerbstätigkeit auszugehen ist.
3.4.2 Die Beitragsfestsetzung nach <ref-law> setzt voraus, dass im steuerrechtlichen Verfahren (bei einer zweijährigen Steuerperiode) eine Veranlagung nach Art. 43 BdBSt bzw. ab 1. Januar 1995 nach <ref-law> stattgefunden hat (vgl. Wegleitung über die Beiträge der Selbständigerwerbenden und Nichterwerbstätigen [WSN] in der AHV, IV und EO, Rz 1315 und 1219 ff. in der ab 1. Januar 1994 geltenden Fassung sowie Rz 1337 in der ab 1. Januar 1995 geltenden Fassung). Dies trifft hier nicht zu; gemäss Urteil vom 15. Februar 2002 handelt es sich um eine ordentliche Steuerveranlagung. Auf Grund der somit gegebenen nebenberuflichen, gelegentlich ausgeübten selbstständigen Erwerbstätigkeit haben Vorinstanz und Verwaltung zu Recht eine Beitragsfestsetzung im ordentlichen Verfahren nach <ref-law> vorgenommen. Daran ändert auch nichts, dass die Steuerbehörden eine "Z"-Meldung vornahmen (vgl. Rz 1220 WSN in der ab 1. Januar 1994 geltenden Fassung bzw. Rz 1329 WSN in der ab 1. Januar 1995 geltenden Fassung); denn die Bestimmung des anwendbaren Beitragsverfahrens obliegt den Ausgleichskassen und nicht dem Steueramt.
3.4.3 Im Rahmen der ordentlichen Beitragsfestsetzung wird zur Ermittlung des beitragspflichtigen Einkommens u.a. ein Zins auf dem im Betrieb arbeitenden eigenen Kapital abgezogen (<ref-law>). Das investierte Eigenkapital wird nach den Grundsätzen der Bundessteuern bemessen (<ref-law>). Massgebender Zeitpunkt hiezu ist der 1. Januar nach Ablauf der Bemessungsperiode (<ref-ruling> Erw. 4; AHI 1994 S. 265, 1993 S. 229 Erw. 7a, je mit Hinweisen).
Im hier zu beurteilenden Fall bedeutet dies, dass als Stichtag für die Ermittlung des investierten Eigenkapitals der 1. Janaur 1995 massgebend ist, da bei der Beitragsfestsetzung nach <ref-law> Bemessungs- und Beitragsperiode zusammenfallen. Da die selbstständige Erwerbstätigkeit mit der Veräusserung der Liegenschaft Z._ im Jahr 1994 endete, betrug das im Betrieb investierte Kapital am 1. Januar 1995 Fr. 0.-. Somit ist kein Abzug für das im Betrieb eingesetzte Kapital vorzunehmen.
3.5 Nachdem die reformatio in peius bezüglich der Beitragsverfügung vom 13. Mai 2002 ordnungsgemäss angedroht wurde und der Beschwerdeführer von seiner Rückzugsmöglichkeit keinen Gebrauch machte, ist die pendente lite erlassene Beitragsverfügung nicht zu beanstanden.
3.5 Nachdem die reformatio in peius bezüglich der Beitragsverfügung vom 13. Mai 2002 ordnungsgemäss angedroht wurde und der Beschwerdeführer von seiner Rückzugsmöglichkeit keinen Gebrauch machte, ist die pendente lite erlassene Beitragsverfügung nicht zu beanstanden.
4. In ihrer Verfügung vom 30. September 2002, mit welcher die Vorinstanz dem Beschwerdeführer das rechtliche Gehör im Rahmen der vorgenommenen reformatio in peius gewährte, wies sie ihn darauf hin, dass bei einem Rückzug der Beschwerde nur die Beitragsverfügung in Rechtskraft erwachse, da das Schreiben der Ausgleichskasse bezüglich der Verzugszinsen vom 23. Dezember 1999 keine formelle Verfügung darstelle. In ihrem Entscheid vom 29. August 2003 schrieb sie diesem jedoch Verfügungscharakter zu und berechnete höhere Verzugszinsen von neu Fr. 53'192.90.
Zwar ist es zutreffend, dass es sich beim Schreiben vom 23. Dezember 1999 nicht um eine formelle Verfügung handelt; allerdings hätte die Vorinstanz dem Beschwerdeführer auch diesbezüglich und ungeachtet der Akzessorietät der Verzugszinsen die Möglichkeit zum Rückzug der Beschwerde geben müssen, bevor sie eine reformatio in peius vornahm. Indem sie in ihrem Entscheid der Aufforderung vom 23. Dezember 1999 Verfügungscharakter zuschrieb, wäre bei einem entsprechenden Rückzug auch dieses von ihr als materielle Verfügung qualifizierte Schreiben in Rechtskraft erwachsen und eine reformatio in peius unmöglich geworden. Da sie jedoch in ihrer Verfügung vom 30. September 2002 die Verzugszinsen ausdrücklich von der Rechtskraft ausnahm, hat sie sich in einer für den Beschwerdeführer irreführenden Weise geäussert und unter Missachtung der erforderlichen Rückzugsmöglichkeit eine Schlechterstellung vorgenommen. Auf Grund der Äusserungen des Beschwerdeführers in seiner vorinstanzlichen Eingabe vom 30. Dezember 2002 muss davon ausgegangen werden, dass dieser so oder anders an seiner Beschwerde festgehalten hätte, weshalb die Verletzung des rechtlichen Gehörs geheilt werden könnte. Weil das Eidgenössische Versicherungsgericht in Beitragsstreitigkeiten aber lediglich über eingeschränkte Kognition verfügt (oben Erw. 1) und somit Sach- und Rechtslage nicht frei überprüfen kann (<ref-ruling> Erw. 3d/aa mit Hinweis), ist die Sache an die Vorinstanz zurückzuweisen, damit diese nach ordnungsgemässer Androhung der reformatio in peius über die Pflicht zur Zahlung von Verzugszinsen neu entscheide.
Zwar ist es zutreffend, dass es sich beim Schreiben vom 23. Dezember 1999 nicht um eine formelle Verfügung handelt; allerdings hätte die Vorinstanz dem Beschwerdeführer auch diesbezüglich und ungeachtet der Akzessorietät der Verzugszinsen die Möglichkeit zum Rückzug der Beschwerde geben müssen, bevor sie eine reformatio in peius vornahm. Indem sie in ihrem Entscheid der Aufforderung vom 23. Dezember 1999 Verfügungscharakter zuschrieb, wäre bei einem entsprechenden Rückzug auch dieses von ihr als materielle Verfügung qualifizierte Schreiben in Rechtskraft erwachsen und eine reformatio in peius unmöglich geworden. Da sie jedoch in ihrer Verfügung vom 30. September 2002 die Verzugszinsen ausdrücklich von der Rechtskraft ausnahm, hat sie sich in einer für den Beschwerdeführer irreführenden Weise geäussert und unter Missachtung der erforderlichen Rückzugsmöglichkeit eine Schlechterstellung vorgenommen. Auf Grund der Äusserungen des Beschwerdeführers in seiner vorinstanzlichen Eingabe vom 30. Dezember 2002 muss davon ausgegangen werden, dass dieser so oder anders an seiner Beschwerde festgehalten hätte, weshalb die Verletzung des rechtlichen Gehörs geheilt werden könnte. Weil das Eidgenössische Versicherungsgericht in Beitragsstreitigkeiten aber lediglich über eingeschränkte Kognition verfügt (oben Erw. 1) und somit Sach- und Rechtslage nicht frei überprüfen kann (<ref-ruling> Erw. 3d/aa mit Hinweis), ist die Sache an die Vorinstanz zurückzuweisen, damit diese nach ordnungsgemässer Androhung der reformatio in peius über die Pflicht zur Zahlung von Verzugszinsen neu entscheide.
5. Da es weder um die Bewilligung noch Verweigerung von Leistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Die Gerichtskosten werden im Ausmass des Unterliegens auf die Parteien aufgeteilt (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. August 2003 bezüglich der Pflicht zur Zahlung von Verzugszinsen aufgehoben und es wird die Sache an die Vorinstanz zurückgewiesen, damit sie im Sinne der Erwägungen verfahre und hernach über die Pflicht zur Zahlung von Verzugszinsen neu entscheide; im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. August 2003 bezüglich der Pflicht zur Zahlung von Verzugszinsen aufgehoben und es wird die Sache an die Vorinstanz zurückgewiesen, damit sie im Sinne der Erwägungen verfahre und hernach über die Pflicht zur Zahlung von Verzugszinsen neu entscheide; im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 7000.- werden zu 4/5 dem Beschwerdeführer unter Anrechnung des von ihm geleisteten Kostenvorschusses und zu 1/5 der Ausgleichskasse des Kantons Zürich auferlegt.
2. Die Gerichtskosten von Fr. 7000.- werden zu 4/5 dem Beschwerdeführer unter Anrechnung des von ihm geleisteten Kostenvorschusses und zu 1/5 der Ausgleichskasse des Kantons Zürich auferlegt.
3. Dem Beschwerdeführer wird der Differenzbetrag von Fr. 1400.- zurückerstattet.
3. Dem Beschwerdeführer wird der Differenzbetrag von Fr. 1400.- zurückerstattet.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. Mai 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Die Gerichtsschreiberin: