Sachverhalt:
Sachverhalt:
A. Am 7. Juli 2005 ersuchte M._ um Herabsetzung der mit Verfügungen vom 13. März 1997 und 12. Dezember 2003 definitiv und rechtskräftig verfügten Beiträge auf den bereits bezahlten Betrag für die Jahre 1997 bis 2000. Mit Verfügung vom 2. September 2005 wies die Ausgleichskasse des Kantons Zürich das Gesuch ab. Die von M._ dagegen erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 16. September 2005 teilweise gut und setzte die Beiträge 1998 von Fr. 6'213.60 auf Fr. 3'308.40, für 1999 von Fr. 5'871.60 auf Fr. 3'174.- und für 2000 von Fr. 5'880.- auf Fr. 3'189.60 herab (zuzüglich Verwaltungs-, Mahn-, Betreibungskosten sowie allfälligen Verzugszinsen), wobei die Ausgleichskasse festhielt, der im Zeitpunkt des Einspracheentscheides offene Saldo betreffe die Beitragsjahre 1998 bis 2002 sowie 2005.
A. Am 7. Juli 2005 ersuchte M._ um Herabsetzung der mit Verfügungen vom 13. März 1997 und 12. Dezember 2003 definitiv und rechtskräftig verfügten Beiträge auf den bereits bezahlten Betrag für die Jahre 1997 bis 2000. Mit Verfügung vom 2. September 2005 wies die Ausgleichskasse des Kantons Zürich das Gesuch ab. Die von M._ dagegen erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 16. September 2005 teilweise gut und setzte die Beiträge 1998 von Fr. 6'213.60 auf Fr. 3'308.40, für 1999 von Fr. 5'871.60 auf Fr. 3'174.- und für 2000 von Fr. 5'880.- auf Fr. 3'189.60 herab (zuzüglich Verwaltungs-, Mahn-, Betreibungskosten sowie allfälligen Verzugszinsen), wobei die Ausgleichskasse festhielt, der im Zeitpunkt des Einspracheentscheides offene Saldo betreffe die Beitragsjahre 1998 bis 2002 sowie 2005.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2006 ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Mai 2006 ab.
C. M._ erhebt Verwaltungsgerichtsbeschwerde und beantragt die Herabsetzung der für die Jahre 1997 bis 2000 geschuldeten Beiträge auf die Höhe der bereits für diese Zeit entrichteten Beiträge.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.

Erwägungen:
Erwägungen:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Im Einspracheentscheid stellte die Ausgleichskasse fest, der im Zeitpunkt des Einspracheentscheides offene Saldo betreffe die Beitragsjahre 1998 bis 2002 sowie 2005. Damit sind die Beiträge für 1997 nicht mehr Gegenstand des Verfahrens, weshalb diesbezüglich auf die Beschwerde nicht einzutreten ist.
3. Im Einspracheentscheid stellte die Ausgleichskasse fest, der im Zeitpunkt des Einspracheentscheides offene Saldo betreffe die Beitragsjahre 1998 bis 2002 sowie 2005. Damit sind die Beiträge für 1997 nicht mehr Gegenstand des Verfahrens, weshalb diesbezüglich auf die Beschwerde nicht einzutreten ist.
4. Das kantonale Gericht hat die gesetzliche Bestimmung über die Voraussetzungen für eine Herabsetzung der Beiträge aus selbstständiger Erwerbstätigkeit (<ref-law>) sowie die hiezu ergangene Rechtsprechung, namentlich zum Begriff des Notbedarfs (<ref-ruling> E. 1a) und zu dem für die Beurteilung der Herabsetzung massgeblichen Zeitpunkt (<ref-ruling> E. 5a/dd mit Hinweisen), zutreffend wiedergegeben. Darauf wird verwiesen.
4. Das kantonale Gericht hat die gesetzliche Bestimmung über die Voraussetzungen für eine Herabsetzung der Beiträge aus selbstständiger Erwerbstätigkeit (<ref-law>) sowie die hiezu ergangene Rechtsprechung, namentlich zum Begriff des Notbedarfs (<ref-ruling> E. 1a) und zu dem für die Beurteilung der Herabsetzung massgeblichen Zeitpunkt (<ref-ruling> E. 5a/dd mit Hinweisen), zutreffend wiedergegeben. Darauf wird verwiesen.
5. 5.1 Nach den für das Bundesgericht verbindlichen Feststellungen der Vorinstanz (E. 2 hievor) standen beim Beschwerdeführer in dem für die Beurteilung der Herabsetzung massgeblichen Zeitpunkt (E. 4 hievor) bei einem Notbedarf von Fr. 2'430.90 verfügbare Mittel von Fr. 2'400.- gegenüber. Das kantonale Gericht erwog, die volle Bezahlung des Beitragsausstandes von Fr. 20'969.75 würde für den Beschwerdeführer eine unzumutbare Härte darstellen. Da jedoch die verfügbaren Mittel den anrechenbaren Notbedarf nur äusserst knapp unterschritten, könne weder eine schwerste Bedrohung der wirtschaftlichen Existenz noch eine an Elend grenzende Notlage im Sinne von Rz 3053 der Wegleitung des BSV über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen in der AHV, IV und EO (WSN) angenommen werden, weshalb eine Herabsetzung der Beiträge unter den Ansatz des üblichen Beitrages für Arbeitnehmende (5.05% des anrechenbaren Einkommens) nicht gerechtfertigt und die Herabsetzung gemäss Einspracheentscheid zu bestätigen sei.
Demgegenüber beantragt der Beschwerdeführer sinngemäss die Herabsetzung auf den Mindestbeitrag und macht geltend, die Knappheit der Unterschreitung des Existenzminimums könne nicht massgebend sein, solange sein Einkommen unter dem Existenzminimum liege.
5.2 Nach ständiger Rechtsprechung ist die Herabsetzung der geschuldeten Beiträge nach <ref-law> nur bei ausserordentlicher wirtschaftlicher Bedrängnis zulässig, weshalb die Unzumutbarkeit der vollen Beitragsentrichtung nur dann gegeben ist, wenn die vorhandenen Mittel den Notbedarf des Pflichtigen, der seinem betreibungsrechtlichen Existenzminimum entspricht, nicht decken (<ref-ruling> E. 5a mit Hinweis). Im Urteil H 119/05 vom 5. Dezember 2005 hat das Eidgenössische Versicherungsgericht zwar - wie die Vorinstanz an sich zutreffend dargelegt - offen gelassen, ob eine Herabsetzung von Beiträgen unter die Hälfte des Arbeitnehmeranteils am paritätischen Beitrag (5.05%) auch dann in Frage kommt, wenn die anrechenbaren Einkommen das Existenzminimum nur leicht unterschreiten. Allerdings hat das Gericht bereits im Urteil H 357/00 vom 10. Januar 2001 mit Verweis auf <ref-ruling> und SVR 2000 Nr. 9 S. 31 E. 2a festgestellt, dass bei einer wirtschaftlichen Notlage die Herabsetzung bis zum Mindestbeitrag grundsätzlich möglich ist und die anderslautende Rechtsprechung (ZAK 1950 S. 276, 1954 S. 72, 1961 S. 448) längst aufgegeben worden ist. Es besteht daher kein Anlass, eine Herabsetzung auf den Mindestbeitrag nicht zuzulassen, sobald das Existenzminimum - unabhängig vom Ausmass der Differenz - unterschritten wird.
Die Sache ist deshalb an die Ausgleichskasse zurückzuweisen, damit diese die Herabsetzung auf den Mindestbeitrag verfügt, wobei sie allenfalls zu beachten haben wird, dass für vorbehaltlos bezahlte Beiträge eine Herabsetzung entfällt (Urteil H 207/88 vom 28. Juni 1989).
Die Sache ist deshalb an die Ausgleichskasse zurückzuweisen, damit diese die Herabsetzung auf den Mindestbeitrag verfügt, wobei sie allenfalls zu beachten haben wird, dass für vorbehaltlos bezahlte Beiträge eine Herabsetzung entfällt (Urteil H 207/88 vom 28. Juni 1989).
6. Es geht nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen (E. 1 hievor), weshalb das Verfahren kostenpflichtig ist (Art. 134 OG e contrario). Gemäss Art. 156 Abs. 1 in Verbindung mit Art. 135 OG werden die Gerichtskosten in der Regel der unterliegenden Partei auferlegt. Die Ausgleichskasse hat deshalb die Kosten zu tragen.

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf einzutreten ist, gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Mai 2006 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich werden aufgehoben. Die Sache wird an die Ausgleichskasse des Kantons Zürich zurückgewiesen, damit sie über die Herabsetzung im Sinne der Erwägungen neu verfüge.
1. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf einzutreten ist, gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Mai 2006 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich werden aufgehoben. Die Sache wird an die Ausgleichskasse des Kantons Zürich zurückgewiesen, damit sie über die Herabsetzung im Sinne der Erwägungen neu verfüge.
2. Die Gerichtskosten von Fr. 900.- werden der Beschwerdegegnerin auferlegt.
2. Die Gerichtskosten von Fr. 900.- werden der Beschwerdegegnerin auferlegt.
3. Der geleistete Kostenvorschuss von Fr. 900.- wird dem Beschwerdeführer zurückerstattet.
3. Der geleistete Kostenvorschuss von Fr. 900.- wird dem Beschwerdeführer zurückerstattet.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Februar 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer i.V. Widmer