Sachverhalt: Sachverhalt: A. Mit Nachtragsverfügungen vom 7. September 1998 qualifizierte die Ausgleichskasse des Kantons Zürich B._ als Nichterwerbstätigen und legte seine Sozialversicherungsbeiträge (exkl. Verwaltungskosten) für die Jahre 1996 und 1997 neu auf je Fr. 707.- (massgebendes Vermögen Fr. 440'944.-) sowie für die Jahre 1998 und 1999 auf je Fr. 1414.- (massgebendes Vermögen Fr. 783'000.-) unter Anrechnung der bis anhin geleisteten Beiträge fest. A. Mit Nachtragsverfügungen vom 7. September 1998 qualifizierte die Ausgleichskasse des Kantons Zürich B._ als Nichterwerbstätigen und legte seine Sozialversicherungsbeiträge (exkl. Verwaltungskosten) für die Jahre 1996 und 1997 neu auf je Fr. 707.- (massgebendes Vermögen Fr. 440'944.-) sowie für die Jahre 1998 und 1999 auf je Fr. 1414.- (massgebendes Vermögen Fr. 783'000.-) unter Anrechnung der bis anhin geleisteten Beiträge fest. B. Gegen diese Verfügungen reichte der Versicherte bei der Ausgleichskasse am 6. Oktober 1998 Beschwerde ein, die an das Sozialversicherungsgericht des Kantons Zürich weitergeleitet wurde. Der Versicherte stellte sinngemäss den Antrag, die Nachtragsverfügungen seien aufzuheben und er sei weiterhin als Selbstständigerwerbender zu qualifizieren. Die Ausgleichskasse beantragte, die Beschwerde sei bezüglich der Verfügungen für die Jahre 1998 und 1999 abzuweisen, und im Übrigen sei die Sache zum Erlass neuer Verfügungen an sie zurückzuweisen. Mit Beschluss vom 20. Februar 2001 machte das kantonale Gericht B._ auf eine mögliche Schlechterstellung (reformatio in peius) betreffend die Beitragsjahre 1996 und 1997 aufmerksam und gab ihm Gelegenheit zur Stellungnahme und zum Beschwerderückzug innert 30 Tagen. Mit Eingabe vom 5. Juli 2001 hielt der Versicherte an der Beschwerde fest. Mit Entscheid vom 23. August 2001 wies das kantonale Gericht die Beschwerde ab und bestätigte die Nachtragsverfügungen für die Beitragsjahre 1998 und 1999. Die Nachtragsverfügungen für die Beitragsjahre 1996 und 1997 wurden aufgehoben, und die Beiträge für die Jahre 1996 und 1997 wurden auf Fr. 1515.- (massgebendes Vermögen Fr. 800'000.-) bzw. auf Fr. 1414.- (massgebendes Vermögen Fr. 750'000.-), je zuzüglich Verwaltungskosten, festgelegt. B. Gegen diese Verfügungen reichte der Versicherte bei der Ausgleichskasse am 6. Oktober 1998 Beschwerde ein, die an das Sozialversicherungsgericht des Kantons Zürich weitergeleitet wurde. Der Versicherte stellte sinngemäss den Antrag, die Nachtragsverfügungen seien aufzuheben und er sei weiterhin als Selbstständigerwerbender zu qualifizieren. Die Ausgleichskasse beantragte, die Beschwerde sei bezüglich der Verfügungen für die Jahre 1998 und 1999 abzuweisen, und im Übrigen sei die Sache zum Erlass neuer Verfügungen an sie zurückzuweisen. Mit Beschluss vom 20. Februar 2001 machte das kantonale Gericht B._ auf eine mögliche Schlechterstellung (reformatio in peius) betreffend die Beitragsjahre 1996 und 1997 aufmerksam und gab ihm Gelegenheit zur Stellungnahme und zum Beschwerderückzug innert 30 Tagen. Mit Eingabe vom 5. Juli 2001 hielt der Versicherte an der Beschwerde fest. Mit Entscheid vom 23. August 2001 wies das kantonale Gericht die Beschwerde ab und bestätigte die Nachtragsverfügungen für die Beitragsjahre 1998 und 1999. Die Nachtragsverfügungen für die Beitragsjahre 1996 und 1997 wurden aufgehoben, und die Beiträge für die Jahre 1996 und 1997 wurden auf Fr. 1515.- (massgebendes Vermögen Fr. 800'000.-) bzw. auf Fr. 1414.- (massgebendes Vermögen Fr. 750'000.-), je zuzüglich Verwaltungskosten, festgelegt. C. B._ erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, der kantonale Entscheid sei aufzuheben und es seien die Beiträge der Jahre 1996 bis 1999 nach Massgabe des von ihm erzielten Einkommens aus selbstständiger Erwerbstätigkeit festzusetzen. Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf Vernehmlassung.