Sachverhalt:
Sachverhalt:
A. Z._ betrieb als Einzelfirma lange Jahre einen Schweinehandel und war der Ausgleichskasse Grosshandel und Transithandel (nachfolgend: Ausgleichskasse) als Selbstständigerwerbender angeschlossen. Per 1. Januar 1997 verkaufte er den Schweinehandel an die Firma X._ AG, bei welcher er in der Folge als Arbeitnehmer tätig war. Gemäss eigenen Angaben betrug sein Einkommen aus selbstständiger Erwerbstätigkeit ab 1. Januar 1997 Fr. 0.-. Z._ verzichtete auf die Unterstellung seines Nebenerwerbs unter die Beitragspflicht. Nachdem die kantonale Steuerverwaltung mit Steuermeldung vom 18. Oktober 2001 für 1997 ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 611'792.- und für 1998 einen Verlust von Fr. 74'672.- gemeldet hatte, holte die Ausgleichskasse weitere Einkünfte bei der Steuerverwaltung sowie bei Z._ ein. Mit Verfügungen vom 21. November 2002 setzte die Ausgleichskasse die Beiträge für 1997 auf einem beitragspflichtigen Einkommen von Fr. 611'700.-, für 1998 auf einem solchen von Fr. -74'700.- und für 1999 auf einem solchen von Fr. 268'500.- (Durchschnitt der beiden vorhergehenden Jahre) fest.
A. Z._ betrieb als Einzelfirma lange Jahre einen Schweinehandel und war der Ausgleichskasse Grosshandel und Transithandel (nachfolgend: Ausgleichskasse) als Selbstständigerwerbender angeschlossen. Per 1. Januar 1997 verkaufte er den Schweinehandel an die Firma X._ AG, bei welcher er in der Folge als Arbeitnehmer tätig war. Gemäss eigenen Angaben betrug sein Einkommen aus selbstständiger Erwerbstätigkeit ab 1. Januar 1997 Fr. 0.-. Z._ verzichtete auf die Unterstellung seines Nebenerwerbs unter die Beitragspflicht. Nachdem die kantonale Steuerverwaltung mit Steuermeldung vom 18. Oktober 2001 für 1997 ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 611'792.- und für 1998 einen Verlust von Fr. 74'672.- gemeldet hatte, holte die Ausgleichskasse weitere Einkünfte bei der Steuerverwaltung sowie bei Z._ ein. Mit Verfügungen vom 21. November 2002 setzte die Ausgleichskasse die Beiträge für 1997 auf einem beitragspflichtigen Einkommen von Fr. 611'700.-, für 1998 auf einem solchen von Fr. -74'700.- und für 1999 auf einem solchen von Fr. 268'500.- (Durchschnitt der beiden vorhergehenden Jahre) fest.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. Mai 2003 bezüglich der Beitragsverfügung für das Jahr 1997 ab; in Bezug auf die Beitragsverfügung für das Jahr 1999 hiess es die Beschwerde teilweise gut und wies die Sache an die Verwaltung zurück, damit diese die Beiträge nach erneuter Abklärung im Rahmen der Gegenwartsbemessung neu festsetze.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 23. Mai 2003 bezüglich der Beitragsverfügung für das Jahr 1997 ab; in Bezug auf die Beitragsverfügung für das Jahr 1999 hiess es die Beschwerde teilweise gut und wies die Sache an die Verwaltung zurück, damit diese die Beiträge nach erneuter Abklärung im Rahmen der Gegenwartsbemessung neu festsetze.
C. Z._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, in Gutheissung der vorinstanzlichen Beschwerde sei für die persönlichen Beiträge für 1997 auf das steuerbare Erwerbseinkommen von Fr. 67'449.- abzustellen und die Ausgleichskasse habe zur Vermeidung eines weiteren Nachlassverfahrens auf die Erhebung der Beiträge für 1997 und 1999 zu verzichten. Die Ausgleichskasse enthält sich in ihrer Stellungnahme vom 10. Oktober 2003 eines Antrags. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im AHV-Bereich geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügungen (hier: 21. November 2002) eingetretenen Sachverhalt abstellt, sind im vorliegenden Fall die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar (<ref-ruling> Erw. 1.2 mit Hinweisen).
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im AHV-Bereich geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügungen (hier: 21. November 2002) eingetretenen Sachverhalt abstellt, sind im vorliegenden Fall die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar (<ref-ruling> Erw. 1.2 mit Hinweisen).
2. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Die Vorinstanz hat die Bestimmungen über die Festsetzung der Beiträge Selbstständigerwerbender im ordentlichen (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441) und im ausserordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441) sowie die hiezu ergangene Rechtsprechung (<ref-ruling> Erw. 3a; ZAK 1992 S. 474, je mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen.
3. Die Vorinstanz hat die Bestimmungen über die Festsetzung der Beiträge Selbstständigerwerbender im ordentlichen (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441) und im ausserordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AS 2000 1441) sowie die hiezu ergangene Rechtsprechung (<ref-ruling> Erw. 3a; ZAK 1992 S. 474, je mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen.
4. Streitig ist die Beitragspflicht für die Jahre 1997 und 1999.
4.1 Gemäss der Rechtsprechung stellt die Aufgabe des selbstständigen Haupterwerbs und Weiterführung der selbstständigen Tätigkeit im Nebenerwerb eine qualitative Grundlagenänderung im Sinne von alt<ref-law> dar (vgl. ZAK 1958 S. 367 = EVGE 1958 S. 17; bestätigt in ZAK 1989 S. 551 Erw. 3 sowie den nicht veröffentlichten Urteilen F. vom 4. Juli 1995, H 29/95, und T. vom 4. Dezember 1998, H 86/97). Der Versicherte hat den im Rahmen seiner Einzelfirma betriebenen Schweinehandel an die X._ AG veräussert und war in der Folge sowohl bei dieser als auch bei der Y._ AG als Unselbstständigerwerbender tätig; die Einzelfirma führte er nach eigenen Angaben nur noch im Nebenerwerb weiter und verzichtete in der Folge auf die Erhebung von Beiträgen auf dem angeblich unter Fr. 2000.- liegenden Nebenerwerbseinkommen. Unter diesen Umständen liegt eine erhebliche Änderung in der betrieblichen Struktur vor und das qualitative Element der Grundlagenänderung ist zu bejahen. Nachdem die übrigen Voraussetzungen der Anwendung des ausserordentlichen Verfahrens (wesentliche Änderung der Einkommenshöhe, Dauerhaftigkeit der Änderung, Kausalzusammenhang) unbestritten sind, haben Vorinstanz und Verwaltung zu Recht das ausserordentliche Verfahren angewendet. Ebenfalls nicht zu beanstanden ist die Rückweisung durch das kantonale Gericht an die Ausgleichskasse zur Festsetzung der Beiträge für 1999 auf Grund des in diesem Jahr erzielten Einkommens; denn nach <ref-law> in der bis 31. Dezember 2000 gültigen Fassung werden die Beiträge auf Einkommen aus selbstständigem Nebenerwerb stets in der Gegenwartsbemessung verfügt. Somit bleibt für die Beitragsfestsetzung nach altArt. 25 Abs. 3 Satz 2 AHVV, wonach die Bemessung der Beiträge gestützt auf das durchschnittliche Einkommen der beiden Jahre vor dem Vorjahr der nächsten ordentlichen Beitragsperiode zu erfolgen hat, kein Platz.
4.1 Gemäss der Rechtsprechung stellt die Aufgabe des selbstständigen Haupterwerbs und Weiterführung der selbstständigen Tätigkeit im Nebenerwerb eine qualitative Grundlagenänderung im Sinne von alt<ref-law> dar (vgl. ZAK 1958 S. 367 = EVGE 1958 S. 17; bestätigt in ZAK 1989 S. 551 Erw. 3 sowie den nicht veröffentlichten Urteilen F. vom 4. Juli 1995, H 29/95, und T. vom 4. Dezember 1998, H 86/97). Der Versicherte hat den im Rahmen seiner Einzelfirma betriebenen Schweinehandel an die X._ AG veräussert und war in der Folge sowohl bei dieser als auch bei der Y._ AG als Unselbstständigerwerbender tätig; die Einzelfirma führte er nach eigenen Angaben nur noch im Nebenerwerb weiter und verzichtete in der Folge auf die Erhebung von Beiträgen auf dem angeblich unter Fr. 2000.- liegenden Nebenerwerbseinkommen. Unter diesen Umständen liegt eine erhebliche Änderung in der betrieblichen Struktur vor und das qualitative Element der Grundlagenänderung ist zu bejahen. Nachdem die übrigen Voraussetzungen der Anwendung des ausserordentlichen Verfahrens (wesentliche Änderung der Einkommenshöhe, Dauerhaftigkeit der Änderung, Kausalzusammenhang) unbestritten sind, haben Vorinstanz und Verwaltung zu Recht das ausserordentliche Verfahren angewendet. Ebenfalls nicht zu beanstanden ist die Rückweisung durch das kantonale Gericht an die Ausgleichskasse zur Festsetzung der Beiträge für 1999 auf Grund des in diesem Jahr erzielten Einkommens; denn nach <ref-law> in der bis 31. Dezember 2000 gültigen Fassung werden die Beiträge auf Einkommen aus selbstständigem Nebenerwerb stets in der Gegenwartsbemessung verfügt. Somit bleibt für die Beitragsfestsetzung nach altArt. 25 Abs. 3 Satz 2 AHVV, wonach die Bemessung der Beiträge gestützt auf das durchschnittliche Einkommen der beiden Jahre vor dem Vorjahr der nächsten ordentlichen Beitragsperiode zu erfolgen hat, kein Platz.
4.2 4.2.1 Im letztinstanzlichen Verfahren bringt der Versicherte erstmals vor, der ausserordentliche Sanierungsgewinn von Fr. 544'343.- stelle gar kein beitragspflichtiges Einkommen dar; denn dabei handle es sich nicht um eigentliches Einkommen aus Erwerb, sondern um eine buchhalterische Bereinigung der Bilanz, indem steuerlich erfolgswirksame Sanierungsleistungen (vorliegend Forderungsverzichte der Gläubiger) mit Verlusten, Abschreibung und Rückstellungen verrechnet würden.
4.2.2 Wie sich aus den vorinstanzlichen Akten ergibt, stammt das der Beitragspflicht unterstellte Einkommen in der Höhe von Fr. 544'343.- aus Schulderlassen seitens der Gläubigerbanken (vgl. etwa die Antwort des Gemeindesteueramtes vom 13. Mai 2002 auf Anfrage der Ausgleichskasse sowie den Abschluss 1996/97). Demnach fragt sich, ob es sich beim ausserordentlichen Sanierungsgewinn um beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit handelt. Diese Frage der rechtlichen Qualifizierung des Einkommens hätte somit schon die Vorinstanz stellen und beantworten müssen. Zur Wahrung des zweistufigen Instanzenzugs sowie des rechtlichen Gehörs seitens der Ausgleichskasse wird die Sache an die Vorinstanz zur Neubeurteilung und gegebenenfalls notwendigen Aktenergänzung zurückgewiesen.
4.2.2 Wie sich aus den vorinstanzlichen Akten ergibt, stammt das der Beitragspflicht unterstellte Einkommen in der Höhe von Fr. 544'343.- aus Schulderlassen seitens der Gläubigerbanken (vgl. etwa die Antwort des Gemeindesteueramtes vom 13. Mai 2002 auf Anfrage der Ausgleichskasse sowie den Abschluss 1996/97). Demnach fragt sich, ob es sich beim ausserordentlichen Sanierungsgewinn um beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit handelt. Diese Frage der rechtlichen Qualifizierung des Einkommens hätte somit schon die Vorinstanz stellen und beantworten müssen. Zur Wahrung des zweistufigen Instanzenzugs sowie des rechtlichen Gehörs seitens der Ausgleichskasse wird die Sache an die Vorinstanz zur Neubeurteilung und gegebenenfalls notwendigen Aktenergänzung zurückgewiesen.
5. Da es nicht um die Bewilligung oder Verweigerung von Leistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Die unterliegende Ausgleichskasse hat demnach die Gerichtskosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 23. Mai 2003 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügungen vom 21. November 2002 neu entscheide.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 23. Mai 2003 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie im Sinne der Erwägungen verfahre und über die Beschwerde gegen die Verfügungen vom 21. November 2002 neu entscheide.
2. Die Gerichtskosten von Fr. 4000.- werden der Ausgleichskasse auferlegt.
2. Die Gerichtskosten von Fr. 4000.- werden der Ausgleichskasse auferlegt.
3. Der geleistete Kostenvorschuss von Fr. 4000.- wird dem Beschwerdeführer zurückerstattet.
3. Der geleistete Kostenvorschuss von Fr. 4000.- wird dem Beschwerdeführer zurückerstattet.
4. Die Ausgleichskasse hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Die Ausgleichskasse hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 22. April 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin: