Sachverhalt:
Sachverhalt:
A. Die Ausgleichskasse des Kantons Zürich setzte die AHV-Beiträge des R._ für das Jahr 1994 mit Verfügung vom 23. Dezember 1999 auf Fr. 146'373.- fest. Gleichentags forderte sie auf diesen Beiträgen einen Verzugszins von Fr. 43'180.05.
Dagegen erhob R._ Beschwerde. Das angerufene Sozialversicherungsgericht des Kantons Zürich sistierte das Verfahren bis zum Vorliegen des bundesgerichtlichen Urteils über die Steuerveranlagung 1995/96. Im Nachgang zum bundesgerichtlichen Urteil vom 15. Februar 2002 (2A.234/2001), mit welchem der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich vom 9. März 2001 bestätigt wurde, wonach sich der Gewinn aus Liegenschaftshandel auf Fr. 1'870'076.- belaufe, verfügte die Ausgleichskasse gestützt auf die Steuermeldung vom 23. April 2002 pendente lite am 13. Mai 2002 Beiträge für das Jahr 1994 von Fr. 180'315.-. Dagegen erhob R._ erneut Beschwerde. Mit Verfügung vom 30. September 2002 vereinigte das Sozialversicherungsgericht des Kantons Zürich die beiden Verfahren, hob die Sistierung auf und gab R._ mit dem Hinweis auf eine mögliche Schlechterstellung die Gelegenheit zum Rückzug seiner Beschwerden. Mit Entscheid vom 29. August 2003 wies das kantonale Gericht schliesslich die Beschwerden ab, hiess Beiträge von Fr. 180'315.- gut und erhöhte die Verzugszinsen auf Fr. 53'192.90.
Die dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 10. Mai 2004, H 298/03, teilweise gut und hob den Entscheid vom 29. August 2003 auf, soweit er die Zahlung von Verzugszinsen umfasste. Gleichzeitig wies es das Sozialversicherungsgericht des Kantons Zürich an, hinsichtlich der Verzugszinsen die Schlechterstellung (reformatio in peius) anzudrohen und gleichzeitig die Möglichkeit zum Beschwerderückzug anzubieten, ehe über die Pflicht zur Zahlung von Verzugszinsen neu zu entscheiden sei. Im Übrigen wies es die Verwaltungsgerichtsbeschwerde ab.
Die dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 10. Mai 2004, H 298/03, teilweise gut und hob den Entscheid vom 29. August 2003 auf, soweit er die Zahlung von Verzugszinsen umfasste. Gleichzeitig wies es das Sozialversicherungsgericht des Kantons Zürich an, hinsichtlich der Verzugszinsen die Schlechterstellung (reformatio in peius) anzudrohen und gleichzeitig die Möglichkeit zum Beschwerderückzug anzubieten, ehe über die Pflicht zur Zahlung von Verzugszinsen neu zu entscheiden sei. Im Übrigen wies es die Verwaltungsgerichtsbeschwerde ab.
B. Mit Verfügung vom 9. Juli 2004 machte das Sozialversicherungsgericht des Kantons Zürich R._ auf eine drohende Verschlechterung seiner Rechtsstellung aufmerksam und gab ihm Gelegenheit zum Rückzug der Beschwerde, soweit sie sich gegen den Verzugszins richtete. Mit Schreiben vom 21. Juli 2004 nahm er dazu Stellung, worauf das kantonale Gericht in Abweisung der Beschwerde die Verfügung der Ausgleichskasse das Kantons Zürich vom 23. Dezember 1999 betreffend Verzugszinsen am 19. August 2004 dahingehend abänderte, dass es R._ zur Zahlung eines den Zeitraum vom 1. Januar 1995 bis 30. November 1999 umfassenden Verzugszinses von Fr. 53'192.90 verpflichtete.
B. Mit Verfügung vom 9. Juli 2004 machte das Sozialversicherungsgericht des Kantons Zürich R._ auf eine drohende Verschlechterung seiner Rechtsstellung aufmerksam und gab ihm Gelegenheit zum Rückzug der Beschwerde, soweit sie sich gegen den Verzugszins richtete. Mit Schreiben vom 21. Juli 2004 nahm er dazu Stellung, worauf das kantonale Gericht in Abweisung der Beschwerde die Verfügung der Ausgleichskasse das Kantons Zürich vom 23. Dezember 1999 betreffend Verzugszinsen am 19. August 2004 dahingehend abänderte, dass es R._ zur Zahlung eines den Zeitraum vom 1. Januar 1995 bis 30. November 1999 umfassenden Verzugszinses von Fr. 53'192.90 verpflichtete.
C. Dagegen erhebt R._ Verwaltungsgerichtsbeschwerde mit dem sinngemässen Antrag, der vorinstanzliche Entscheid wie auch die Verfügungen vom 23. Dezember 1999 seien aufzuheben.
Die Ausgleichskasse und das Bundesamt für Sozialversicherung (BSV) verzichten auf eine Stellungnahme.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Das Eidgenössische Versicherungsgericht hat mit Urteil vom 10. Mai 2004, H 298/03, die Höhe der vom Beschwerdeführer für das Jahr 1994 geschuldeten Beiträge instanzenabschliessend, formell und materiell rechtskräftig festgelegt. Gegenstand des angefochtenen Entscheids des kantonalen Gerichts vom 19. August 2004 ist dementsprechend einzig noch die Frage nach dem Verzugszins.
Soweit sich die Eingabe des Beschwerdeführers dennoch erneut gegen die Festsetzung der Beiträge für das Jahr 1994 richtet, ist darauf nicht einzutreten. Insbesondere steht die im Urteil vom 10. Mai 2004 entschiedene Frage nach dem anwendbaren Bemessungsverfahren - ordentlich oder ausserordentlich - nicht mehr zur Disposition. Das Eidgenössische Versicherungsgericht hat mit heutigem Datum unter der Geschäftsnummer H 202/04 ein gegen das Urteil vom 10. Mai 2004 gerichtetes Revisionsbegehren abgewiesen, weshalb es bei dessen Rechtskraft bleibt.
Soweit sich die Eingabe des Beschwerdeführers dennoch erneut gegen die Festsetzung der Beiträge für das Jahr 1994 richtet, ist darauf nicht einzutreten. Insbesondere steht die im Urteil vom 10. Mai 2004 entschiedene Frage nach dem anwendbaren Bemessungsverfahren - ordentlich oder ausserordentlich - nicht mehr zur Disposition. Das Eidgenössische Versicherungsgericht hat mit heutigem Datum unter der Geschäftsnummer H 202/04 ein gegen das Urteil vom 10. Mai 2004 gerichtetes Revisionsbegehren abgewiesen, weshalb es bei dessen Rechtskraft bleibt.
2. Die Vorinstanz hat den Beschwerdeführer am 9. Juli 2004 auf die Möglichkeit einer Schlechterstellung und eines Rückzuges des Rechtsmittels aufmerksam gemacht. Er machte von dieser Rückzugsmöglichkeit jedoch innert vom kantonalen Gericht bis am 23. Juli 2004 verlängerter Frist keinen Gebrauch, sondern monierte mit Schreiben vom 21. Juli 2004 die Rechtsgenüglichkeit der Androhung. Diese wurde ihm indessen gehörig eröffnet. Er wusste bereits seit dem Rückweisungsurteil des Eidgenössischen Versicherungsgerichts vom 10. Mai 2004 um die anstehende formelle Androhung der reformatio in peius, womit ihm ohne weiteres ausreichend Zeit zur Entscheidfindung offen gestanden hat, ob er nunmehr an der Beschwerde festhalten will oder nicht.
2. Die Vorinstanz hat den Beschwerdeführer am 9. Juli 2004 auf die Möglichkeit einer Schlechterstellung und eines Rückzuges des Rechtsmittels aufmerksam gemacht. Er machte von dieser Rückzugsmöglichkeit jedoch innert vom kantonalen Gericht bis am 23. Juli 2004 verlängerter Frist keinen Gebrauch, sondern monierte mit Schreiben vom 21. Juli 2004 die Rechtsgenüglichkeit der Androhung. Diese wurde ihm indessen gehörig eröffnet. Er wusste bereits seit dem Rückweisungsurteil des Eidgenössischen Versicherungsgerichts vom 10. Mai 2004 um die anstehende formelle Androhung der reformatio in peius, womit ihm ohne weiteres ausreichend Zeit zur Entscheidfindung offen gestanden hat, ob er nunmehr an der Beschwerde festhalten will oder nicht.
3. Bezüglich des Zinslaufs hat das kantonale Gericht zutreffend dargelegt, dass dieser bei im ordentlichen Verfahren nachgeforderten Beiträgen gemäss Art. 41bis Abs. 2 lit. b AHVV in der bis am 31. Dezember 2000 gültig gewesenen Fassung mit Ablauf des Kalenderjahres, für welches die Beiträge geschuldet sind, beginnt. Sodann beläuft sich der Jahreszinssatz gemäss Abs. 4 der damalig gültigen Fassung von Art. 41bis AHVV auf 6 % oder - auf den in Frage stehenden Zeitraum vom 1. Januar 1995 bis 30. November 1999 umgelegt - auf insgesamt 29,5 %, was bei einer Beitragsschuld von Fr. 180'315.- zu einer Verzugszinsforderung von Fr. 53'192.90 führt.
Was der Beschwerdeführer dagegen vorbringt, überzeugt nicht: Dem Ansinnen, den Zinslauf nach den für im ausserordentlichen Verfahren festgelegte Beiträge geltenden Regeln zu bestimmen, steht das Urteil vom 10. Mai 2004 entgegen (siehe Erw. 1 hievor). Wie sodann bereits von der Vorinstanz dargetan, hat das Eidgenössische Versicherungsgericht im Jahre 1990 die Gesetzes- und Verfassungsmässigkeit der bis Ende 2000 auf Verordnungsstufe vorgesehenen Verzugszinshöhe von 0,5 % je Kalendermonat oder 6 % im Jahr mit einlässlicher Begründung bejaht (ZAK 1990 S. 284). Wenngleich sich seit 1990 die Zinssituation verändert hat, sind keine entscheidenden Gründe für eine Abkehr von dieser Rechtsprechung ersichtlich. Es ist daran festzuhalten (vgl. <ref-ruling> Erw. 5.1 mit Hinweisen), zumal die Verzugszinspflicht hier die Zeit von 1995 bis Ende November 1999 betrifft.
Was der Beschwerdeführer dagegen vorbringt, überzeugt nicht: Dem Ansinnen, den Zinslauf nach den für im ausserordentlichen Verfahren festgelegte Beiträge geltenden Regeln zu bestimmen, steht das Urteil vom 10. Mai 2004 entgegen (siehe Erw. 1 hievor). Wie sodann bereits von der Vorinstanz dargetan, hat das Eidgenössische Versicherungsgericht im Jahre 1990 die Gesetzes- und Verfassungsmässigkeit der bis Ende 2000 auf Verordnungsstufe vorgesehenen Verzugszinshöhe von 0,5 % je Kalendermonat oder 6 % im Jahr mit einlässlicher Begründung bejaht (ZAK 1990 S. 284). Wenngleich sich seit 1990 die Zinssituation verändert hat, sind keine entscheidenden Gründe für eine Abkehr von dieser Rechtsprechung ersichtlich. Es ist daran festzuhalten (vgl. <ref-ruling> Erw. 5.1 mit Hinweisen), zumal die Verzugszinspflicht hier die Zeit von 1995 bis Ende November 1999 betrifft.
4. Das Verfahren ist kostenpflichtig (Umkehrschluss aus Art. 134 OG). Entsprechend dem Ausgang des Prozesses gehen die Gerichtskosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 4000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 16. Dezember 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: