Sachverhalt:
Sachverhalt:
A. Mit Nachtragsverfügungen vom 7. September 1998 qualifizierte die Ausgleichskasse des Kantons Zürich B._ als Nichterwerbstätigen und legte seine Sozialversicherungsbeiträge (exkl. Verwaltungskosten) für die Jahre 1996 und 1997 neu auf je Fr. 707.- (massgebendes Vermögen Fr. 440'944.-) sowie für die Jahre 1998 und 1999 auf je Fr. 1414.- (massgebendes Vermögen Fr. 783'000.-) unter Anrechnung der bis anhin geleisteten Beiträge fest.
A. Mit Nachtragsverfügungen vom 7. September 1998 qualifizierte die Ausgleichskasse des Kantons Zürich B._ als Nichterwerbstätigen und legte seine Sozialversicherungsbeiträge (exkl. Verwaltungskosten) für die Jahre 1996 und 1997 neu auf je Fr. 707.- (massgebendes Vermögen Fr. 440'944.-) sowie für die Jahre 1998 und 1999 auf je Fr. 1414.- (massgebendes Vermögen Fr. 783'000.-) unter Anrechnung der bis anhin geleisteten Beiträge fest.
B. Gegen diese Verfügungen reichte der Versicherte bei der Ausgleichskasse am 6. Oktober 1998 Beschwerde ein, die an das Sozialversicherungsgericht des Kantons Zürich weitergeleitet wurde. Der Versicherte stellte sinngemäss den Antrag, die Nachtragsverfügungen seien aufzuheben und er sei weiterhin als Selbstständigerwerbender zu qualifizieren. Die Ausgleichskasse beantragte, die Beschwerde sei bezüglich der Verfügungen für die Jahre 1998 und 1999 abzuweisen, und im Übrigen sei die Sache zum Erlass neuer Verfügungen an sie zurückzuweisen. Mit Beschluss vom 20. Februar 2001 machte das kantonale Gericht B._ auf eine mögliche Schlechterstellung (reformatio in peius) betreffend die Beitragsjahre 1996 und 1997 aufmerksam und gab ihm Gelegenheit zur Stellungnahme und zum Beschwerderückzug innert 30 Tagen. Mit Eingabe vom 5. Juli 2001 hielt der Versicherte an der Beschwerde fest. Mit Entscheid vom 23. August 2001 wies das kantonale Gericht die Beschwerde ab und bestätigte die Nachtragsverfügungen für die Beitragsjahre 1998 und 1999. Die Nachtragsverfügungen für die Beitragsjahre 1996 und 1997 wurden aufgehoben, und die Beiträge für die Jahre 1996 und 1997 wurden auf Fr. 1515.- (massgebendes Vermögen Fr. 800'000.-) bzw. auf Fr. 1414.- (massgebendes Vermögen Fr. 750'000.-), je zuzüglich Verwaltungskosten, festgelegt.
B. Gegen diese Verfügungen reichte der Versicherte bei der Ausgleichskasse am 6. Oktober 1998 Beschwerde ein, die an das Sozialversicherungsgericht des Kantons Zürich weitergeleitet wurde. Der Versicherte stellte sinngemäss den Antrag, die Nachtragsverfügungen seien aufzuheben und er sei weiterhin als Selbstständigerwerbender zu qualifizieren. Die Ausgleichskasse beantragte, die Beschwerde sei bezüglich der Verfügungen für die Jahre 1998 und 1999 abzuweisen, und im Übrigen sei die Sache zum Erlass neuer Verfügungen an sie zurückzuweisen. Mit Beschluss vom 20. Februar 2001 machte das kantonale Gericht B._ auf eine mögliche Schlechterstellung (reformatio in peius) betreffend die Beitragsjahre 1996 und 1997 aufmerksam und gab ihm Gelegenheit zur Stellungnahme und zum Beschwerderückzug innert 30 Tagen. Mit Eingabe vom 5. Juli 2001 hielt der Versicherte an der Beschwerde fest. Mit Entscheid vom 23. August 2001 wies das kantonale Gericht die Beschwerde ab und bestätigte die Nachtragsverfügungen für die Beitragsjahre 1998 und 1999. Die Nachtragsverfügungen für die Beitragsjahre 1996 und 1997 wurden aufgehoben, und die Beiträge für die Jahre 1996 und 1997 wurden auf Fr. 1515.- (massgebendes Vermögen Fr. 800'000.-) bzw. auf Fr. 1414.- (massgebendes Vermögen Fr. 750'000.-), je zuzüglich Verwaltungskosten, festgelegt.
C. B._ erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben und es seien die Beiträge der Jahre 1996 bis 1999 nach Massgabe des von ihm erzielten Einkommens aus selbstständiger Erwerbstätigkeit festzusetzen.
Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der Alters- und Hinterlassenenversicherung geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 127 V 467 Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügungen (hier: 7. September 1998) eingetretenen Sachverhalt abstellt (BGE 121 V 366 Erw. 1b), sind im vorliegenden Fall die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar.
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der Alters- und Hinterlassenenversicherung geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (BGE 127 V 467 Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügungen (hier: 7. September 1998) eingetretenen Sachverhalt abstellt (BGE 121 V 366 Erw. 1b), sind im vorliegenden Fall die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar.
2. Da keine Versicherungsleistungen streitig sind, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
3. Das kantonale Gericht hat die Bestimmungen und die Grundsätze über den Begriff der selbstständigen Erwerbstätigkeit und die Kriterien zur Abgrenzung von Nichterwerbstätigkeit (Art. 4 Abs. 1 AHVG; Art. 6 Abs. 1 AHVV; BGE 115 V 161 ff., 106 V 131 Erw. 3a; ZAK 1991 S. 312 Erw. 5a, 1988 S. 554 Erw. 2a, 1987 S. 417, 1986 S. 514), die Bemessung der Beiträge der Nichterwerbstätigen (Art. 10 Abs. 1 AHVG; Art. 28 Abs. 1, Art. 28bis, und Art. 29 AHVV) sowie die Verbindlichkeit der Steuermeldung (Art. 23 Abs. 4 AHVV; BGE 121 V 83 Erw. 2c, 114 V 75 Erw. 2, 110 V 86 Erw. 4 und 370 Erw. 2a, 102 V 30 Erw. 3a mit Hinweisen) zutreffend dargelegt. Gleiches gilt für die Rechtsprechung zur Wiedererwägung und zur prozessualen Revision (BGE 127 V 469 Erw. 2c, 126 V 23 Erw. 4b, 46 Erw. 2b, 399 Erw. 1, 400 Erw. 2b/aa, 122 V 173 Erw. 4a je mit Hinweisen) sowie zu dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (BGE 126 V 360 Erw. 5b, 125 V 195 Erw. 2, je mit Hinweisen). Darauf wird verwiesen.
Zu ergänzen ist, dass die Ausgleichskassen verpflichtet sind, nicht oder zu wenig entrichtete Beiträge nachzufordern (Art. 39 AHVV in Verbindung mit Art. 14 Abs. 4 lit. c AHVG).
Zu ergänzen ist, dass die Ausgleichskassen verpflichtet sind, nicht oder zu wenig entrichtete Beiträge nachzufordern (Art. 39 AHVV in Verbindung mit Art. 14 Abs. 4 lit. c AHVG).
4. Die Ausgleichskasse hatte am 14. März 1996 und 18. Februar 1998 für die Jahre 1996 bis 1999 Beitragsverfügungen erlassen, die nach Lage der Akten offenbar unangefochten in Rechtskraft erwachsen sind. Um auf diese zurückzukommen und sie durch die nunmehr angefochtenen Verfügungen ersetzen zu können, bedurfte es grundsätzlich des Rückkommenstitels der Wiedererwägung oder der prozessualen Revision. Wie sich aus den nachfolgenden Erwägungen ergibt, liegt ein solcher Titel vor.
4. Die Ausgleichskasse hatte am 14. März 1996 und 18. Februar 1998 für die Jahre 1996 bis 1999 Beitragsverfügungen erlassen, die nach Lage der Akten offenbar unangefochten in Rechtskraft erwachsen sind. Um auf diese zurückzukommen und sie durch die nunmehr angefochtenen Verfügungen ersetzen zu können, bedurfte es grundsätzlich des Rückkommenstitels der Wiedererwägung oder der prozessualen Revision. Wie sich aus den nachfolgenden Erwägungen ergibt, liegt ein solcher Titel vor.
5. 5.1 Es ist unbestritten, dass der Beschwerdeführer eine auf Erzielung eines Erwerbseinkommens gerichtete bestimmte Tätigkeit ausübte, mit welcher die wirtschaftliche Leistungsfähigkeit erhöht werden sollte. Das Kriterium der Erwerbsabsicht ist erfüllt.
5. 5.1 Es ist unbestritten, dass der Beschwerdeführer eine auf Erzielung eines Erwerbseinkommens gerichtete bestimmte Tätigkeit ausübte, mit welcher die wirtschaftliche Leistungsfähigkeit erhöht werden sollte. Das Kriterium der Erwerbsabsicht ist erfüllt.
5.2 5.2.1 Der Beschwerdeführer lässt rügen, die Vorinstanz qualifiziere ihn fälschlicherweise als Nichterwerbstätigen mit der Begründung, er sei nicht voll und dauernd erwerbstätig. Die Vorinstanz habe diesen Sachverhalt in Abstützung auf die Verfügung der Invalidenversicherung, die die Erwerbsfähigkeit und nicht die Arbeitsfähigkeit des Versicherten geprüft habe, erhoben, was offensichtlich falsch sei.
5.2.2 Mit Schreiben vom 5. März 1995 teilte die Invalidenversicherung dem Beschwerdeführer mit, dass sie ab dem 1. Januar 1995 von einem Invaliditätsgrad von 100 % ausgehen würde. Dieses Schreiben basierte auf der im Brief vom 30. Januar 1995 erfolgten Sachverhaltsfeststellung der Invalidenversicherung an den Rechtsvertreter des Beschwerdeführers, dass seine Arbeitsfähigkeit wegen Verschlechterung des Gesundheitszustandes zu mindestens 70 % eingeschränkt sei. Der vom Versicherten erhobene Vorwurf, die Vorinstanz habe im Rahmen der Beweiswürdigung Erwerbsfähigkeit und Arbeitsfähigkeit verwechselt, stösst somit ins Leere. Die Vorinstanz hat ihre Beurteilung der Erwerbstätigkeit des Versicherten richtigerweise auf die zitierten Dokumente, welche ausdrücklich zwischen Arbeitsfähigkeit und Erwerbsfähigkeit differenzierten und sie unterschiedlich beurteilten, stützen können.
Die Qualifikation als Nichterwerbstätiger setzt bei nicht dauernd voll erwerbstätigen Personen weiter voraus, dass ihre Beiträge vom Erwerbseinkommen in einem Kalenderjahr nicht mindestens der Hälfte des Nichterwerbstätigenbeitrages bzw. dem Mindestbeitrag von Fr. 324.- nach Art. 28 Abs. 1 AHVV entsprechen (Art. 28bis Abs. 1 AHVV; Erw. 6 hienach). Diese Voraussetzung ist vorliegend ebenfalls erfüllt.
Unter diesen Umständen waren die in Rechtskraft erwachsenen Beitragsverfügungen vom 14. März 1996 und 18. Februar 1998 offensichtlich von falschen Voraussetzungen ausgegangen und durch Wiedererwägung zu korrigieren, zumal die Berichtigung von erheblicher Bedeutung ist.
Unter diesen Umständen waren die in Rechtskraft erwachsenen Beitragsverfügungen vom 14. März 1996 und 18. Februar 1998 offensichtlich von falschen Voraussetzungen ausgegangen und durch Wiedererwägung zu korrigieren, zumal die Berichtigung von erheblicher Bedeutung ist.
6. 6.1 Weiter lässt der Beschwerdeführer ausführen, dass sich das Kriterium der Entrichtung des Mindestbeitrages aus Erwerbstätigkeit ausschliesslich auf Unselbstständigerwerbende beziehe. In Art. 8 Abs. 2 AHVG sei nämlich ausdrücklich von Selbstständigerwerbenden die Rede, welche ein Einkommen auswiesen, das unter der zur Entrichtung des Mindestbeitrags führenden Grenze liege; deshalb könne nicht angenommen werden, dass Selbstständigerwerbende - sofern sie eine im Wesentlichen volle und dauernde Erwerbstätigkeit ausübten - gestützt auf Art. 10 Abs. 1 AHVG allein wegen ihrer fehlenden bzw. sehr tiefen Einkommen als nichterwerbstätig anzusehen wären. Dieses Kriterium gemäss Art. 10 Abs. 1 Satz 2 AHVG könne sich mithin nur auf Unselbstständigerwerbende beziehen.
6.2 Mit der 2. AHV-Revision ist der Grundsatz verankert worden, dass bei allen Versicherten - und demzufolge auch bei den Selbstständigerwerbenden - das Kriterium, nach welchem sich beitragsrechtlich die Qualifikation als Erwerbstätiger oder Nichterwerbstätiger bestimmt, darin bestehen soll, ob der Versicherte auf dem Arbeitserwerb Beiträge zu leisten hat, die mindestens den Betrag des Minimalbeitrages erreichen (BGE 115 V 167 Erw. 6c). Somit ist aufgrund von Art. 10 Abs. 1 AHVG in Verbindung mit Art. 28bis AHVV entscheidend, ob der Versicherte dauernd voll erwerbstätig war und gegebenenfalls aus dem Arbeitserwerb die für die Einstufung als Erwerbstätiger notwendigen Beiträge bezahlte bzw. ob mit den Beiträgen aus dem Erwerbseinkommen der Grenzbetrag gemäss Art. 28bis AHVV erreicht wurde, wenn der Versicherte nicht dauernd voll erwerbstätig war (BGE 115 V 169 f. Erw. 7b). Dass sich Art. 10 Abs. 1 Satz 2 AHVG nicht nur auf Unselbstständigerwerbende bezieht, ergibt sich aus der Formulierung "gegebenenfalls mit Einschluss des Arbeitgeberbeitrages". Weiter wurde entschieden, dass Art. 10 Abs. 1 Satz 3 AHVG in Verbindung mit Art. 28bis AHVV auch für Selbstständigerwerbende gilt (BGE 115 V 170 Erw. 8). Die rechtliche Würdigung des Sachverhalts durch die Vorinstanz ist daher zu schützen.
6.2 Mit der 2. AHV-Revision ist der Grundsatz verankert worden, dass bei allen Versicherten - und demzufolge auch bei den Selbstständigerwerbenden - das Kriterium, nach welchem sich beitragsrechtlich die Qualifikation als Erwerbstätiger oder Nichterwerbstätiger bestimmt, darin bestehen soll, ob der Versicherte auf dem Arbeitserwerb Beiträge zu leisten hat, die mindestens den Betrag des Minimalbeitrages erreichen (BGE 115 V 167 Erw. 6c). Somit ist aufgrund von Art. 10 Abs. 1 AHVG in Verbindung mit Art. 28bis AHVV entscheidend, ob der Versicherte dauernd voll erwerbstätig war und gegebenenfalls aus dem Arbeitserwerb die für die Einstufung als Erwerbstätiger notwendigen Beiträge bezahlte bzw. ob mit den Beiträgen aus dem Erwerbseinkommen der Grenzbetrag gemäss Art. 28bis AHVV erreicht wurde, wenn der Versicherte nicht dauernd voll erwerbstätig war (BGE 115 V 169 f. Erw. 7b). Dass sich Art. 10 Abs. 1 Satz 2 AHVG nicht nur auf Unselbstständigerwerbende bezieht, ergibt sich aus der Formulierung "gegebenenfalls mit Einschluss des Arbeitgeberbeitrages". Weiter wurde entschieden, dass Art. 10 Abs. 1 Satz 3 AHVG in Verbindung mit Art. 28bis AHVV auch für Selbstständigerwerbende gilt (BGE 115 V 170 Erw. 8). Die rechtliche Würdigung des Sachverhalts durch die Vorinstanz ist daher zu schützen.
7. In masslicher Hinsicht ist die Berechnung der Vorinstanz unbestritten und nicht zu beanstanden.
7. In masslicher Hinsicht ist die Berechnung der Vorinstanz unbestritten und nicht zu beanstanden.
8. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Prozessausgang gehen die Gerichtskosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Die Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (Art. 159 Abs. 2 in fine OG; BGE 126 V 150 Erw. 4a).
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 700.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 700.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 10. Juli 2003
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer: Der Gerichtsschreiber: