Sachverhalt: Sachverhalt: A. Z._ betrieb als Einzelfirma lange Jahre einen Schweinehandel und war der Ausgleichskasse Grosshandel und Transithandel (nachfolgend: Ausgleichskasse) als Selbstständigerwerbender angeschlossen. Per 1. Januar 1997 verkaufte er den Schweinehandel an die Firma X._ AG, bei welcher er in der Folge als Arbeitnehmer tätig war. Gemäss eigenen Angaben betrug sein Einkommen aus selbstständiger Erwerbstätigkeit ab 1. Januar 1997 Fr. 0.-. Z._ verzichtete auf die Unterstellung seines Nebenerwerbs unter die Beitragspflicht. Nachdem die kantonale Steuerverwaltung mit Steuermeldung vom 18. Oktober 2001 für 1997 ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 611'792.- und für 1998 einen Verlust von Fr. 74'672.- gemeldet hatte, holte die Ausgleichskasse weitere Auskünfte bei der Steuerverwaltung sowie bei Z._ ein. Mit Verfügungen vom 21. November 2002 setzte die Ausgleichskasse die Beiträge für 1997 auf einem beitragspflichtigen Einkommen von Fr. 611'700.-, für 1998 auf einem solchen von Fr. -74'700.- und für 1999 auf einem solchen von Fr. 268'500.- (Durchschnitt der beiden vorhergehenden Jahre) fest. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. Mai 2003 bezüglich der Beitragsverfügung für das Jahr 1997 ab; in Bezug auf die Beitragsverfügung für das Jahr 1999 hiess es die Beschwerde teilweise gut und wies die Sache an die Verwaltung zurück, damit diese die Beiträge nach erneuter Abklärung im Rahmen der Gegenwartsbemessung neu festsetze. Das Eidgenössische Versicherungsgericht hiess die gegen die Beiträge für die Jahre 1997 und 1999 erhobene Verwaltungsgerichtsbeschwerde mit Urteil vom 22. April 2004, H 224/03, in dem Sinne gut, als es den kantonalen Entscheid aufhob und die Sache an die Vorinstanz zurückwies, damit diese über die Qualifizierung des Sanierungsgewinns als Erwerbseinkommen befinde und neu entscheide. Das Eidgenössische Versicherungsgericht hiess die gegen die Beiträge für die Jahre 1997 und 1999 erhobene Verwaltungsgerichtsbeschwerde mit Urteil vom 22. April 2004, H 224/03, in dem Sinne gut, als es den kantonalen Entscheid aufhob und die Sache an die Vorinstanz zurückwies, damit diese über die Qualifizierung des Sanierungsgewinns als Erwerbseinkommen befinde und neu entscheide. B. Nachdem die Beitragspflicht für 1999 gemäss Entscheid vom 23. Mai 2003 angepasst wurde, wies das kantonale Versicherungsgericht die Beschwerde gegen die einzig noch strittige Beitragsverfügung für das Jahr 1997 mit Entscheid vom 13. Januar 2005 ab. B. Nachdem die Beitragspflicht für 1999 gemäss Entscheid vom 23. Mai 2003 angepasst wurde, wies das kantonale Versicherungsgericht die Beschwerde gegen die einzig noch strittige Beitragsverfügung für das Jahr 1997 mit Entscheid vom 13. Januar 2005 ab. C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, es seien der vorinstanzliche Entscheid und die Beitragsverfügung vom 21. November 2002 bezüglich des Beitragsjahres 1997 aufzuheben; eventualiter sei das beitragspflichtige Einkommen für das Beitragsjahr 1997 auf Fr. 67'449.- zu reduzieren. Das kantonale Gericht schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung (nachfolgend: BSV) und die Ausgleichskasse verzichten auf eine Stellungnahme. C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, es seien der vorinstanzliche Entscheid und die Beitragsverfügung vom 21. November 2002 bezüglich des Beitragsjahres 1997 aufzuheben; eventualiter sei das beitragspflichtige Einkommen für das Beitragsjahr 1997 auf Fr. 67'449.- zu reduzieren. Das kantonale Gericht schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung (nachfolgend: BSV) und die Ausgleichskasse verzichten auf eine Stellungnahme. D. Das Eidgenössische Versicherungsgericht forderte das BSV als Aufsichtsbehörde zu einer Vernehmlassung auf, welche am 6. Februar 2006 erstattet und den Parteien zur Kenntnisnahme sowie allfälligen Stellungnahme zugestellt wurde. D. Das Eidgenössische Versicherungsgericht forderte das BSV als Aufsichtsbehörde zu einer Vernehmlassung auf, welche am 6. Februar 2006 erstattet und den Parteien zur Kenntnisnahme sowie allfälligen Stellungnahme zugestellt wurde. E. Am 8. Mai 2006 führte das Eidgenössische Versicherungsgericht eine parteiöffentliche Beratung durch.