Sachverhalt:
Sachverhalt:
A. Der 1936 geborene R._ ist für die M._ AG in unselbstständiger Stellung tätig. Nach dem Tod seines Vaters wurde er im Jahr 1983 Miteigentümer einer Liegenschaft mit Wohn- und Geschäftshaus in der Gemeinde X._. Mit Teilungsvertrag vom 10. Juli 1989 erwarb er die Liegenschaft per 31. August 1989 zu Alleineigentum. Den Erbauskauf finanzierte er über ein privates Darlehen in Höhe von Fr. 2'880'000.-. Zum Zweck einer Neuüberbauung des Grundstücks übertrug er die Liegenschaft am 3. Juni 1996 der Einfachen Gesellschaft "S._", bestehend aus ihm selbst sowie zwei weiteren Gesellschaftern, zum Preis von Fr. 6'000'000.-. Nach der Erstellung des Gebäudes wurde im Jahr 2000 die Gesellschaft aufgelöst und das Gesamteigentum auf die einzelnen Gesellschafter aufgeteilt.
Für die direkte Bundessteuer 1997/98 war R._ unter anderem mit einem aus dem Verkauf der Liegenschaft im Jahr 1996 erzielten Gewinn von Fr. 751'999.- veranlagt worden. Auf die entsprechende Steuermeldung vom 30. November 2001 erfasste ihn die Ausgleichskasse des Kantons Zürich ab 1. Januar 1996 als Selbstständigerwerbenden im Nebenerwerb und erhob für das Jahr 1996 auf einem beitragspflichtigen Einkommen von Fr. 751'900.- und einem im Betrieb investierten Eigenkapital von Fr. 0.- persönliche Sozialversicherungsbeiträge von Fr. 72'858.60, einschliesslich Verwaltungskostenbeiträge (Verfügung vom 20. Dezember 2001).
Für die direkte Bundessteuer 1997/98 war R._ unter anderem mit einem aus dem Verkauf der Liegenschaft im Jahr 1996 erzielten Gewinn von Fr. 751'999.- veranlagt worden. Auf die entsprechende Steuermeldung vom 30. November 2001 erfasste ihn die Ausgleichskasse des Kantons Zürich ab 1. Januar 1996 als Selbstständigerwerbenden im Nebenerwerb und erhob für das Jahr 1996 auf einem beitragspflichtigen Einkommen von Fr. 751'900.- und einem im Betrieb investierten Eigenkapital von Fr. 0.- persönliche Sozialversicherungsbeiträge von Fr. 72'858.60, einschliesslich Verwaltungskostenbeiträge (Verfügung vom 20. Dezember 2001).
B. R._ liess gegen diese Verfügung Beschwerde erheben und beantragen, es sei auf die Erhebung der erwähnten Sozialversicherungsbeiträge für das Jahr 1996 zu verzichten. Zur Begründung brachte er vor, die Überführung der Liegenschaft in das Geschäftsvermögen sei erst im Jahre 1996 erfolgt und er habe in diesem Jahr noch kein beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit erzielt. Sollte von einem Beginn des Liegenschaftshandels am 31. August 1989 ausgegangen werden, seien die Schuldzinsen auf dem für die Einbringung der Liegenschaft in die einfache Gesellschaft benötigten Darlehen in Abzug zu bringen, womit eine Beitragspflicht ebenfalls entfalle.
Auf Antrag der Ausgleichskasse sistierte das Sozialversicherungsgericht des Kantons Zürich das Verfahren bis zum Vorliegen einer Stellungnahme der kantonalen Steuerbehörde. Am 24. Mai 2002 stellte diese der Ausgleichskasse eine rektifizierte Steuermeldung zu, worin sie das Einkommen aus selbstständiger Erwerbstätigkeit für das Jahr 1996 unter Berücksichtigung des Ertrages und der Schuldzinsen auf der Liegenschaft mit Fr. 673'263.- bezifferte. Mit Entscheid vom 28. November 2003 hiess das kantonale Gericht die Beschwerde in dem Sinne teilweise gut, als es die angefochtene Verfügung aufhob und die Sache an die Ausgleichskasse zurückwies, damit sie die Beiträge für das Jahr 1996 auf einem Einkommen aus nebenberuflicher selbstständiger Erwerbstätigkeit von Fr. 660'904.- bei einem investierten Eigenkapital von Fr. 0.- festsetze.
Auf Antrag der Ausgleichskasse sistierte das Sozialversicherungsgericht des Kantons Zürich das Verfahren bis zum Vorliegen einer Stellungnahme der kantonalen Steuerbehörde. Am 24. Mai 2002 stellte diese der Ausgleichskasse eine rektifizierte Steuermeldung zu, worin sie das Einkommen aus selbstständiger Erwerbstätigkeit für das Jahr 1996 unter Berücksichtigung des Ertrages und der Schuldzinsen auf der Liegenschaft mit Fr. 673'263.- bezifferte. Mit Entscheid vom 28. November 2003 hiess das kantonale Gericht die Beschwerde in dem Sinne teilweise gut, als es die angefochtene Verfügung aufhob und die Sache an die Ausgleichskasse zurückwies, damit sie die Beiträge für das Jahr 1996 auf einem Einkommen aus nebenberuflicher selbstständiger Erwerbstätigkeit von Fr. 660'904.- bei einem investierten Eigenkapital von Fr. 0.- festsetze.
C. R._ lässt Verwaltungsgerichtsbeschwerde führen mit dem sinngemässen Rechtsbegehren, in Aufhebung des angefochtenen Entscheids und der Verfügung vom 20. Dezember 2001 sei festzustellen, dass für das Jahr 1996 keine Beitragspflicht aus nebenberuflicher selbstständiger Erwerbstätigkeit bestehe.
Die Ausgleichskasse des Kantons Zürich und das Bundesamt für Sozialversicherung verzichten auf Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art.105 Abs. 2 OG). Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidg. Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
1. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art.105 Abs. 2 OG). Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidg. Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
2. Das kantonale Gericht hat die nach dem Gesetz (<ref-law>) und der Verordnung in der bis Ende 2000 gültig gewesenen und auf den vorliegenden Fall anwendbaren Fassung geltenden Bestimmungen über die Festsetzung der Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit (<ref-law>), insbesondere bei einer nebenberuflichen, gelegentlich ausgeübten Erwerbstätigkeit (<ref-law>), und die Verbindlichkeit der Meldungen der Steuerbehörden für die Festsetzung des beitragspflichtigen Einkommens (Art. 23 Abs. 1 und 4 AHVV) zutreffend dargelegt. Das Gleiche gilt hinsichtlich der vorinstanzlichen Erwägungen zur Nichtanwendbarkeit des am 1. Januar 2003 im Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 auf den vorliegenden Fall (<ref-ruling> Erw. 1.1). Darauf wird verwiesen.
2. Das kantonale Gericht hat die nach dem Gesetz (<ref-law>) und der Verordnung in der bis Ende 2000 gültig gewesenen und auf den vorliegenden Fall anwendbaren Fassung geltenden Bestimmungen über die Festsetzung der Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit (<ref-law>), insbesondere bei einer nebenberuflichen, gelegentlich ausgeübten Erwerbstätigkeit (<ref-law>), und die Verbindlichkeit der Meldungen der Steuerbehörden für die Festsetzung des beitragspflichtigen Einkommens (Art. 23 Abs. 1 und 4 AHVV) zutreffend dargelegt. Das Gleiche gilt hinsichtlich der vorinstanzlichen Erwägungen zur Nichtanwendbarkeit des am 1. Januar 2003 im Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 auf den vorliegenden Fall (<ref-ruling> Erw. 1.1). Darauf wird verwiesen.
3. Der Beschwerdeführer macht geltend, Verwaltung und Vorinstanz hätten die Steuermeldung vom 30. November 2001 / 24. Mai 2002 zu Unrecht als verbindlich erachtet, weil es an der erforderlichen Identität zwischen dem Steuerobjekt der direkten Bundessteuer und dem Beitragsobjekt der AHV fehle. Die Steuerbehörde habe die Differenz zwischen dem Einbringungswert 1989, zuzüglich hier nicht weiter interessierender Kosten, und dem Veräusserungspreis der Liegenschaft 1996 als Steuerobjekt herangezogen. Die in den Jahren 1989 bis 1996 geleisteten Darlehenszinsen hätten an sich aktiviert und zum Einbringungswert 1989 hinzugerechnet werden müssen, was nur deshalb nicht erfolgt sei, weil sie mit anderem, sozialversicherungsrechtlich nicht massgeblichem Einkommen verrechnet worden seien. Die Verbindlichkeit der Steuermeldung setze voraus, dass das Steuerobjekt den gleichen Zeitraum zum Gegenstand habe. Während die Steuerveranlagung den Zeitraum von 1989 bis 1996 umfasse, beruhe die AHV-Taxation allein auf dem Jahr 1996. Zwar sei es der Ausgleichskasse unbenommen, einen andern Zeitpunkt für die Aufnahme der selbstständigen Erwerbstätigkeit anzunehmen. In diesem Fall sei die Steuermeldung jedoch nicht verbindlich und es sei der Einbringungswert der Liegenschaft mittels Verkehrswertschätzung oder unter Berücksichtigung der Finanzierungskosten zu ermitteln. Der vorinstanzliche Entscheid gehe sodann zu Unrecht davon aus, dass per 1. Januar 1997 kein investiertes Eigenkapital vorhanden gewesen sei; dieses habe sich mindestens auf Fr. 1'350'000.- belaufen, entsprechend dem investierten Erbanteil aus dem Jahr 1989.
3. Der Beschwerdeführer macht geltend, Verwaltung und Vorinstanz hätten die Steuermeldung vom 30. November 2001 / 24. Mai 2002 zu Unrecht als verbindlich erachtet, weil es an der erforderlichen Identität zwischen dem Steuerobjekt der direkten Bundessteuer und dem Beitragsobjekt der AHV fehle. Die Steuerbehörde habe die Differenz zwischen dem Einbringungswert 1989, zuzüglich hier nicht weiter interessierender Kosten, und dem Veräusserungspreis der Liegenschaft 1996 als Steuerobjekt herangezogen. Die in den Jahren 1989 bis 1996 geleisteten Darlehenszinsen hätten an sich aktiviert und zum Einbringungswert 1989 hinzugerechnet werden müssen, was nur deshalb nicht erfolgt sei, weil sie mit anderem, sozialversicherungsrechtlich nicht massgeblichem Einkommen verrechnet worden seien. Die Verbindlichkeit der Steuermeldung setze voraus, dass das Steuerobjekt den gleichen Zeitraum zum Gegenstand habe. Während die Steuerveranlagung den Zeitraum von 1989 bis 1996 umfasse, beruhe die AHV-Taxation allein auf dem Jahr 1996. Zwar sei es der Ausgleichskasse unbenommen, einen andern Zeitpunkt für die Aufnahme der selbstständigen Erwerbstätigkeit anzunehmen. In diesem Fall sei die Steuermeldung jedoch nicht verbindlich und es sei der Einbringungswert der Liegenschaft mittels Verkehrswertschätzung oder unter Berücksichtigung der Finanzierungskosten zu ermitteln. Der vorinstanzliche Entscheid gehe sodann zu Unrecht davon aus, dass per 1. Januar 1997 kein investiertes Eigenkapital vorhanden gewesen sei; dieses habe sich mindestens auf Fr. 1'350'000.- belaufen, entsprechend dem investierten Erbanteil aus dem Jahr 1989.
4. 4.1 Nach der Rechtsprechung erstreckt sich die Verbindlichkeit der Steuermeldung auch auf den Zeitpunkt (Kalenderjahr), in welchem die versicherte Person ein Einkommen aus einer nebenberuflichen selbstständigen Erwerbstätigkeit erzielt hat (ZAK 1989 S. 306). Auf Grund der Steuermeldung vom 30. November 2001 / 24. Mai 2002 war die Ausgleichskasse gehalten, auf dem vom Beschwerdeführer erzielten Gewinn aus der Übertragung der Liegenschaft an die einfache Gesellschaft "S._" Beiträge aus selbstständiger Erwerbstätigkeit zu erheben. Beitragsobjekt bildete der Kapitalgewinn, welchen der Beschwerdeführer mit der Abtretung der Liegenschaft an die einfache Gesellschaft "S._" im Jahr 1996 erzielt hat. Der Kapitalgewinn aus der Veräusserung oder Verwertung von Geschäftsvermögen wird auch von der direkten Bundessteuer erfasst (<ref-law>). Sowohl im Rahmen der AHV als auch der direkten Bundessteuer gilt das Einkommen in dem Zeitpunkt als erzielt, in welchem der Rechtsanspruch auf die Leistung erworben wird (ZAK 1989 S. 308 Erw. 3c mit Hinweisen). Ein Verstoss gegen den Grundsatz der Identität von Steuer- und Beitragsobjekt liegt nicht vor, da keine sachlichen Umstände zu würdigen waren, die steuerrechtlich belanglos, sozialversicherungsrechtlich aber bedeutsam waren. Unerheblich ist, dass das Kantonale Steueramt Zürich die Einbringung der Liegenschaft in das Geschäftsvermögen auf den 31. August 1989 festgesetzt hat. Laut Steuerakten wurde auf diesen Zeitpunkt abgestellt, weil im Teilungsvertrag vom 10. Juli 1989, welcher die Übernahme durch den Beschwerdeführer per 31. August 1989 regelte, eine baldige Neuüberbauung der Grundstücke durch den Erwerber vorgesehen war. Die Überbauung verzögerte sich in der Folge jedoch. Soweit Vorarbeiten erfolgten, geschah dies über die Firma M._ AG. Nach den Angaben der Steuerbehörde hat der Beschwerdeführer mit der Liegenschaft bis 1996 keinen Gewinn erzielt, weil die Schuldzinsen die Netto-Einkünfte überstiegen. Selbst wenn davon ausgegangen würde, er habe die nebenberufliche selbstständige Erwerbstätigkeit bereits vor dem 1. Januar 1996 aufgenommen, bestand daher kein Anlass zu einer Steuermeldung und einer Beitragserhebung. Die Ausgleichskasse hat den Beschwerdeführer demnach zu Recht ab 1. Januar 1996 der Beitragspflicht aus nebenberuflicher selbstständiger Erwerbstätigkeit unterstellt.
4.2 Wie bereits die Vorinstanz festgestellt hat, kann dem Beschwerdeführer auch insoweit nicht gefolgt werden, als er geltend macht, bei der Festsetzung der Beiträge seien die mit der Liegenschaft in den Vorjahren erlittenen Verluste zu berücksichtigen. Zwar lässt das Bundesgesetz über die direkte Bundessteuer (DBG) die Verrechnung von in den drei vorangegangenen Bemessungsperioden erlittenen Verlusten zu, soweit diese bei der Berechnung des steuerbaren Einkommens der Vorjahre nicht berücksichtigt werden konnten (<ref-law>). Demgegenüber können nach der Rechtsprechung zu <ref-law> die in einem Geschäftsjahr entstandenen Verluste mangels einer <ref-law> entsprechenden Norm nur mit dem Einkommen aus einem andern Jahr verrechnet werden, welches in dieselbe Berechnungsperiode fällt, wogegen ein Verlustvortrag auf künftige Perioden für die Ermittlung des beitragspflichtigen durchschnittlichen Jahreseinkommens ausgeschlossen ist (ZAK 1988 S. 452 Erw. 6 mit Hinweisen; Urteile R. vom 4. Dezember 2003 [H 255/03], K. vom 2. September 2003 [H 187/03], B. vom 23. Dezember 1997 [H 345/95] und S. vom 27. Januar 1997 [H 222/96]). Dies gilt auch dann, wenn es um eine nebenberufliche, gelegentlich ausgeübte selbstständige Erwerbstätigkeit geht, für welche die Beiträge auf dem im jeweiligen Kalenderjahr erzielten Einkommen festzusetzen sind (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung). Weil in diesen Fällen die Beitragsperiode und die zugehörige Berechnungsperiode identisch sind, entfällt eine Verrechnungsmöglichkeit (ZAK 1988 S. 453).
4.2 Wie bereits die Vorinstanz festgestellt hat, kann dem Beschwerdeführer auch insoweit nicht gefolgt werden, als er geltend macht, bei der Festsetzung der Beiträge seien die mit der Liegenschaft in den Vorjahren erlittenen Verluste zu berücksichtigen. Zwar lässt das Bundesgesetz über die direkte Bundessteuer (DBG) die Verrechnung von in den drei vorangegangenen Bemessungsperioden erlittenen Verlusten zu, soweit diese bei der Berechnung des steuerbaren Einkommens der Vorjahre nicht berücksichtigt werden konnten (<ref-law>). Demgegenüber können nach der Rechtsprechung zu <ref-law> die in einem Geschäftsjahr entstandenen Verluste mangels einer <ref-law> entsprechenden Norm nur mit dem Einkommen aus einem andern Jahr verrechnet werden, welches in dieselbe Berechnungsperiode fällt, wogegen ein Verlustvortrag auf künftige Perioden für die Ermittlung des beitragspflichtigen durchschnittlichen Jahreseinkommens ausgeschlossen ist (ZAK 1988 S. 452 Erw. 6 mit Hinweisen; Urteile R. vom 4. Dezember 2003 [H 255/03], K. vom 2. September 2003 [H 187/03], B. vom 23. Dezember 1997 [H 345/95] und S. vom 27. Januar 1997 [H 222/96]). Dies gilt auch dann, wenn es um eine nebenberufliche, gelegentlich ausgeübte selbstständige Erwerbstätigkeit geht, für welche die Beiträge auf dem im jeweiligen Kalenderjahr erzielten Einkommen festzusetzen sind (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung). Weil in diesen Fällen die Beitragsperiode und die zugehörige Berechnungsperiode identisch sind, entfällt eine Verrechnungsmöglichkeit (ZAK 1988 S. 453).
5. 5.1 Das von der Steuerbehörde gemeldete Einkommen von Fr. 751'999.- entspricht dem auch durch den Beschwerdeführer anerkannten Liegenschaftsgewinn, wie er der Veranlagung für die direkte Bundessteuer 1997/98 zugrunde gelegt wurde. Was in der Verwaltungsgerichtsbeschwerde vorgebracht wird, vermag ein Abgehen von der Steuermeldung in diesem Punkt nicht zu begründen. Gemäss der rektifizierten Steuermeldung vom 24. Mai 2002 ist davon auszugehen, dass sich das Einkommen des Jahres 1996 aus selbstständiger Erwerbstätigkeit unter Berücksichtigung des Ertrages und der Schuldzinsen (Darlehen) auf Fr. 673'263.- belief. Das gemeldete Einkommen ist mit der Vorinstanz allerdings insofern zu berichtigen, als nebst den Schuldzinsen auf dem Darlehen von Fr. 93'454.- die Hypothekarzinsen von Fr. 12'359.- in Abzug zu bringen sind, womit sich ein Einkommen von Fr. 660'904.- ergibt. Insoweit enthält die Steuermeldung einen klar ausgewiesenen Irrtum, welcher bei der Beitragsfestsetzung zu beheben ist.
5.2 Was das im Betrieb investierte Eigenkapital betrifft, geht die Steuerbehörde davon aus, nach dem Verkauf der Liegenschaft an die einfache Gesellschaft "S._" sei am massgebenden Stichtag (1. Januar 1997) kein Geschäftsvermögen mehr vorhanden gewesen. Zu beachten ist indessen, dass der Beschwerdeführer mit dem Verkauf der Liegenschaft Teilhaber der übernehmenden Gesellschaft wurde. Bei Teilhabern einer einfachen Gesellschaft bestimmt sich das im Betrieb investierte Eigenkapital nach der Höhe der geleisteten Kapitaleinlage (nicht veröffentlichtes Urteil L. vom 22. August 1991, H 13/91). Laut Gesellschaftsvertrag vom 3. Juni 1996 hat der Beschwerdeführer ein Kapital von Fr. 810'000.- eingebracht, woran sich bis zum 1. Januar 1997 nichts geändert hat. In diesem Punkt hat die Vorinstanz den Sachverhalt unrichtig festgestellt und es ist dem Beschwerdeführer in Abweichung von der Steuermeldung der Zinsabzug auf dem investierten Eigenkapital zu gewähren. Es wird Sache der Ausgleichskasse sein, die Beiträge unter Berücksichtigung der genannten Abweichungen von der Steuermeldung neu festzusetzen.
6. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Da keine Partei vollständig obsiegt, sind die Kosten verhältnismässig zu verlegen (Art. 156 Abs. 3 OG). Dem teilweise obsiegenden Beschwerdeführer steht eine reduzierte Parteientschädigung zu (Art. 159 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. November 2003 insoweit abgeändert, als festgestellt wird, dass die Beiträge unter Berücksichtigung eines im Betrieb investierten Eigenkapitals von Fr. 810'000.- festzusetzen sind. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. November 2003 insoweit abgeändert, als festgestellt wird, dass die Beiträge unter Berücksichtigung eines im Betrieb investierten Eigenkapitals von Fr. 810'000.- festzusetzen sind. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 4000.- werden zu einem Zehntel der Ausgleichskasse und zu neun Zehnteln dem Beschwerdeführer auferlegt. Der Anteil des Beschwerdeführers von Fr. 3600.- ist durch den geleisteten Kostenvorschuss von Fr. 4000.- gedeckt. Der Differenzbetrag von Fr. 400.- wird zurückerstattet.
2. Die Gerichtskosten von Fr. 4000.- werden zu einem Zehntel der Ausgleichskasse und zu neun Zehnteln dem Beschwerdeführer auferlegt. Der Anteil des Beschwerdeführers von Fr. 3600.- ist durch den geleisteten Kostenvorschuss von Fr. 4000.- gedeckt. Der Differenzbetrag von Fr. 400.- wird zurückerstattet.
3. Die Ausgleichskasse des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die Ausgleichskasse des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 15. November 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: