Sachverhalt:
Sachverhalt:
A. Der 1950 geborene S._ war vom 1. Oktober 1989 bis 31. Dezember 1991 und seit 1. Januar 1994 als Selbstständigerwerbender bei der Ausgleichskasse des Kantons Aargau angeschlossen. Am 14. November 2002 meldete das Gemeindesteueramt Z._ der Ausgleichskasse das vom Beitragspflichtigen in den Jahren 1993 und 1994 aus selbstständiger Erwerbstätigkeit erzielte Einkommen. Gestützt auf diese Meldung setzte die Verwaltung mit Verfügung vom 18. November 2002 die vom Versicherten zu entrichtenden AHV/IV/EO-Beiträge für die Periode vom 1. Januar 1996 bis 31. Dezember 1997 auf je Fr. 6573.60 jährlich fest.
A. Der 1950 geborene S._ war vom 1. Oktober 1989 bis 31. Dezember 1991 und seit 1. Januar 1994 als Selbstständigerwerbender bei der Ausgleichskasse des Kantons Aargau angeschlossen. Am 14. November 2002 meldete das Gemeindesteueramt Z._ der Ausgleichskasse das vom Beitragspflichtigen in den Jahren 1993 und 1994 aus selbstständiger Erwerbstätigkeit erzielte Einkommen. Gestützt auf diese Meldung setzte die Verwaltung mit Verfügung vom 18. November 2002 die vom Versicherten zu entrichtenden AHV/IV/EO-Beiträge für die Periode vom 1. Januar 1996 bis 31. Dezember 1997 auf je Fr. 6573.60 jährlich fest.
B. S._ führte Beschwerde und beantragte sinngemäss, die Beitragsverfügung sei aufzuheben und die zu entrichtenden Beiträge seien herabzusetzen. Zur Begründung machte er im Wesentlichen geltend, die Steuerveranlagung beruhe auf einer fehlerhaften Einschätzung der Steuerbehörde. Mit Entscheid vom 16. Dezember 2003 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab.
B. S._ führte Beschwerde und beantragte sinngemäss, die Beitragsverfügung sei aufzuheben und die zu entrichtenden Beiträge seien herabzusetzen. Zur Begründung machte er im Wesentlichen geltend, die Steuerveranlagung beruhe auf einer fehlerhaften Einschätzung der Steuerbehörde. Mit Entscheid vom 16. Dezember 2003 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde ab.
C. Mit Verwaltungsgerichtsbeschwerde erneuert S._ das vorinstanzlich gestellte Rechtsbegehren. Gleichzeitig reicht er verschiedene Unterlagen ein.
Ausgleichskasse und Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da keine Versicherungsleistungen streitig sind, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
2. Das kantonale Gericht hat richtig erkannt, dass die formellen, nicht aber die materiellen Bestimmungen des am 1. Januar 2003 in Kraft getretenen ATSG anwendbar sind. Zutreffend dargelegt werden auch die Rechtsgrundlagen über die Beitragsfestsetzung bei Selbstständigerwerbenden im ordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung), die Ermittlung des für die Berechnung der Beiträge massgebenden Erwerbseinkommens (<ref-law>) und die Verbindlichkeit von Steuermeldungen (<ref-law>; vgl. auch <ref-ruling> Erw. 2, 111 V 294, 110 V 86 Erw. 4 und 370 f.; ZAK 1988 S. 298). Darauf wird verwiesen.
2. Das kantonale Gericht hat richtig erkannt, dass die formellen, nicht aber die materiellen Bestimmungen des am 1. Januar 2003 in Kraft getretenen ATSG anwendbar sind. Zutreffend dargelegt werden auch die Rechtsgrundlagen über die Beitragsfestsetzung bei Selbstständigerwerbenden im ordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung), die Ermittlung des für die Berechnung der Beiträge massgebenden Erwerbseinkommens (<ref-law>) und die Verbindlichkeit von Steuermeldungen (<ref-law>; vgl. auch <ref-ruling> Erw. 2, 111 V 294, 110 V 86 Erw. 4 und 370 f.; ZAK 1988 S. 298). Darauf wird verwiesen.
3. Streitig ist, ob der Beschwerdeführer verpflichtet ist, die persönlichen Beiträge für die Jahre 1996 und 1997 auf Grund der Einkommen zu entrichten, welche die Steuerverwaltung am 14. November 2002 der Ausgleichskasse gemeldet hat.
3.1 Gemäss <ref-law> ermitteln die kantonalen Steuerbehörden das für die Bemessung der Beiträge massgebende Erwerbseinkommen auf Grund der rechtskräftigen Veranlagung für die direkte Bundessteuer. Die Vorinstanz hat erwogen, nach den Angaben der Ausgleichskasse seien die vom Gemeindesteueramt gemeldeten Einkommen rechtskräftig veranlagt. Weder aus den Akten noch den Vorbringen des Beschwerdeführers ergäben sich Anhaltspunkte für eine fehlende Rechtskraft, sodass das Gericht diese Frage praxisgemäss nicht von Amtes wegen prüfen müsse. Gemäss dem vom kantonalen Gericht erwähnten Urteil K. vom 9. Mai 2001, H 365/00, des Eidgenössischen Versicherungsgerichts (mit Hinweisen) dürfen Verwaltung und im Beschwerdefall der Richter, besondere Anhaltspunkte vorbehalten, davon ausgehen, dass die der ordnungsgemäss erstatteten Steuermeldung zugrunde liegende Veranlagung für die direkte Bundessteuer rechtskräftig ist. In der Meldung des Gemeindesteueramtes Z._ vom 14. November 2002 werden die Erwerbseinkommen (und das in den Betrieb investierte Eigenkapital) ohne Angaben zur Rechtskraft der Steuerveranlagung genannt. Die Äusserung in der kantonalen Vernehmlassung der Ausgleichskasse, am 14. November 2002 habe das Steueramt die rechtskräftigen Zahlen der Jahre 1994/95 mitgeteilt, ist daher unzutreffend. Der Versicherte hat im vorinstanzlichen Verfahren geltend gemacht, die Steuerveranlagung gründe auf einer fehlerhaften Einschätzung der Steuerbehörde, was dafür spricht, dass er die entsprechende Verfügung angefochten hat. In Anbetracht dieser Sachlage bestanden besondere Anhaltspunkte, dass die von der Steuerbehörde gemeldeten Einkommen nicht auf einer rechtskräftigen Veranlagung für die direkte Bundessteuer beruhen. Unter diesen Umständen wäre das kantonale Gericht verpflichtet gewesen, weitere Abklärungen anzuordnen. Das Eidgenössische Versicherungsgericht ist daher nicht an die unvollständige vorinstanzliche Feststellung des Sachverhalts gebunden (vgl. Erw. 1) und die letztinstanzlich eingereichten Unterlagen des Beschwerdeführers stellen keine unzulässigen neuen Beweismittel dar (vgl. <ref-ruling> Erw. 1c; <ref-ruling> Erw. 1b, je mit Hinweisen).
3.1 Gemäss <ref-law> ermitteln die kantonalen Steuerbehörden das für die Bemessung der Beiträge massgebende Erwerbseinkommen auf Grund der rechtskräftigen Veranlagung für die direkte Bundessteuer. Die Vorinstanz hat erwogen, nach den Angaben der Ausgleichskasse seien die vom Gemeindesteueramt gemeldeten Einkommen rechtskräftig veranlagt. Weder aus den Akten noch den Vorbringen des Beschwerdeführers ergäben sich Anhaltspunkte für eine fehlende Rechtskraft, sodass das Gericht diese Frage praxisgemäss nicht von Amtes wegen prüfen müsse. Gemäss dem vom kantonalen Gericht erwähnten Urteil K. vom 9. Mai 2001, H 365/00, des Eidgenössischen Versicherungsgerichts (mit Hinweisen) dürfen Verwaltung und im Beschwerdefall der Richter, besondere Anhaltspunkte vorbehalten, davon ausgehen, dass die der ordnungsgemäss erstatteten Steuermeldung zugrunde liegende Veranlagung für die direkte Bundessteuer rechtskräftig ist. In der Meldung des Gemeindesteueramtes Z._ vom 14. November 2002 werden die Erwerbseinkommen (und das in den Betrieb investierte Eigenkapital) ohne Angaben zur Rechtskraft der Steuerveranlagung genannt. Die Äusserung in der kantonalen Vernehmlassung der Ausgleichskasse, am 14. November 2002 habe das Steueramt die rechtskräftigen Zahlen der Jahre 1994/95 mitgeteilt, ist daher unzutreffend. Der Versicherte hat im vorinstanzlichen Verfahren geltend gemacht, die Steuerveranlagung gründe auf einer fehlerhaften Einschätzung der Steuerbehörde, was dafür spricht, dass er die entsprechende Verfügung angefochten hat. In Anbetracht dieser Sachlage bestanden besondere Anhaltspunkte, dass die von der Steuerbehörde gemeldeten Einkommen nicht auf einer rechtskräftigen Veranlagung für die direkte Bundessteuer beruhen. Unter diesen Umständen wäre das kantonale Gericht verpflichtet gewesen, weitere Abklärungen anzuordnen. Das Eidgenössische Versicherungsgericht ist daher nicht an die unvollständige vorinstanzliche Feststellung des Sachverhalts gebunden (vgl. Erw. 1) und die letztinstanzlich eingereichten Unterlagen des Beschwerdeführers stellen keine unzulässigen neuen Beweismittel dar (vgl. <ref-ruling> Erw. 1c; <ref-ruling> Erw. 1b, je mit Hinweisen).
3.2 3.2.1 Auf Grund der letztinstanzlich eingereichten Unterlagen steht fest, dass die Veranlagung der direkten Bundessteuer bei Erlass der Verfügung der Ausgleichskasse vom 18. November 2002 nicht rechtskräftig war. Der Beschwerdeführer hat gegen die entsprechende Veranlagungsverfügung für die 28. Periode (1995/96; Berechnungsjahre 1993/94) Einsprache erhoben (Einspracheentscheid der Steuerrekurskommission R._ vom 11. November 2003), wobei nicht klar ist, ob hiegegen ein Rechtsmittel eingelegt worden ist. Die Veranlagung der Gemeinde- und Kantonssteuern ist hingegen im erwähnten Zeitpunkt rechtsbeständig geworden (vgl. Urteil der II. Öffentlichrechtlichen Abteilung vom 3. Oktober 2001, 2P.138/2001).
3.2.2 Gemäss <ref-law> ist das für die Berechnung der Beiträge massgebende Erwerbseinkommen bei Fehlen einer rechtskräftigen Veranlagung für die direkte Bundessteuer der rechtskräftigen Veranlagung für die kantonale Einkommenssteuer zu entnehmen. In <ref-ruling> Erw. 3c hat das Eidgenössische Versicherungsgericht dargelegt, dass für die Beitragsberechnung auch auf die rechtskräftige Veranlagung im kantonalen Nachsteuerverfahren abgestellt werden kann, wobei der Grund, weshalb keine rechtskräftige Nachsteuerveranlagung für die direkte Bundessteuer vorliegt, nach der Verordnung unerheblich ist. Voraussetzung ist einzig, dass die kantonale Nachsteuerveranlagung nach gleichen oder ähnlichen Grundsätzen erfolgt wie die Nachsteuerveranlagung für die direkte Bundessteuer. Das Steuergesetz des Kantons Zürich vom 8. Juni 1997 stimmt hinsichtlich der steuerbaren Einkünfte selbstständiger Erwerbstätigkeit (§ 18) und der Ermittlung des Reineinkommens (§ 27 ff.) praktisch wörtlich mit den entsprechenden Bestimmungen im Bundesgesetz über die direkte Bundessteuer (DBG) vom 14. Dezember 1990 überein (Art. 18 und 27 ff. DBG). Im Lichte der dargelegten Rechtsprechung ist festzustellen, dass die Ausgleichskasse befugt gewesen war, die persönlichen Beiträge auf Grund der rechtskräftigen Veranlagung der kantonalen Staats- und Gemeindesteuern zu ermitteln. Die vom Gemeindesteueramt Z._ gestützt darauf gemeldeten Einkommen waren daher für die Ausgleichskasse verbindlich. Anhaltspunkte dafür, dass die rechtskräftige Steuertaxation klar ausgewiesene Irrtümer enthält, die ohne weiteres richtig gestellt werden können, liegen nicht vor, zumal die entsprechende Verfügung gerichtlich überprüft worden ist. Nach dem Gesagten ist der vorinstanzliche Entscheid im Ergebnis nicht zu beanstanden.

Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1200.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 1200.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 23. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber:
i.V.