Sachverhalt: Sachverhalt: A. Z._ betrieb als Einzelfirma lange Jahre einen Schweinehandel und war der Ausgleichskasse Grosshandel und Transithandel (nachfolgend: Ausgleichskasse) als Selbstständigerwerbender angeschlossen. Per 1. Januar 1997 verkaufte er den Schweinehandel an die Firma X._ AG, bei welcher er in der Folge als Arbeitnehmer tätig war. Gemäss eigenen Angaben betrug sein Einkommen aus selbstständiger Erwerbstätigkeit ab 1. Januar 1997 Fr. 0.-. Z._ verzichtete auf die Unterstellung seines Nebenerwerbs unter die Beitragspflicht. Nachdem die kantonale Steuerverwaltung mit Steuermeldung vom 18. Oktober 2001 für 1997 ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 611'792.- und für 1998 einen Verlust von Fr. 74'672.- gemeldet hatte, holte die Ausgleichskasse weitere Einkünfte bei der Steuerverwaltung sowie bei Z._ ein. Mit Verfügungen vom 21. November 2002 setzte die Ausgleichskasse die Beiträge für 1997 auf einem beitragspflichtigen Einkommen von Fr. 611'700.-, für 1998 auf einem solchen von Fr. -74'700.- und für 1999 auf einem solchen von Fr. 268'500.- (Durchschnitt der beiden vorhergehenden Jahre) fest. A. Z._ betrieb als Einzelfirma lange Jahre einen Schweinehandel und war der Ausgleichskasse Grosshandel und Transithandel (nachfolgend: Ausgleichskasse) als Selbstständigerwerbender angeschlossen. Per 1. Januar 1997 verkaufte er den Schweinehandel an die Firma X._ AG, bei welcher er in der Folge als Arbeitnehmer tätig war. Gemäss eigenen Angaben betrug sein Einkommen aus selbstständiger Erwerbstätigkeit ab 1. Januar 1997 Fr. 0.-. Z._ verzichtete auf die Unterstellung seines Nebenerwerbs unter die Beitragspflicht. Nachdem die kantonale Steuerverwaltung mit Steuermeldung vom 18. Oktober 2001 für 1997 ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 611'792.- und für 1998 einen Verlust von Fr. 74'672.- gemeldet hatte, holte die Ausgleichskasse weitere Einkünfte bei der Steuerverwaltung sowie bei Z._ ein. Mit Verfügungen vom 21. November 2002 setzte die Ausgleichskasse die Beiträge für 1997 auf einem beitragspflichtigen Einkommen von Fr. 611'700.-, für 1998 auf einem solchen von Fr. -74'700.- und für 1999 auf einem solchen von Fr. 268'500.- (Durchschnitt der beiden vorhergehenden Jahre) fest. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. Mai 2003 bezüglich der Beitragsverfügung für das Jahr 1997 ab; in Bezug auf die Beitragsverfügung für das Jahr 1999 hiess es die Beschwerde teilweise gut und wies die Sache an die Verwaltung zurück, damit diese die Beiträge nach erneuter Abklärung im Rahmen der Gegenwartsbemessung neu festsetze. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. Mai 2003 bezüglich der Beitragsverfügung für das Jahr 1997 ab; in Bezug auf die Beitragsverfügung für das Jahr 1999 hiess es die Beschwerde teilweise gut und wies die Sache an die Verwaltung zurück, damit diese die Beiträge nach erneuter Abklärung im Rahmen der Gegenwartsbemessung neu festsetze. C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Gutheissung der vorinstanzlichen Beschwerde sei für die persönlichen Beiträge für 1997 auf das steuerbare Erwerbseinkommen von Fr. 67'449.- abzustellen und die Ausgleichskasse habe zur Vermeidung eines weiteren Nachlassverfahrens auf die Erhebung der Beiträge für 1997 und 1999 zu verzichten. Die Ausgleichskasse enthält sich in ihrer Stellungnahme vom 10. Oktober 2003 eines Antrags. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.