Sachverhalt:
Sachverhalt:
A. X._ führte mit seinem Bruder ein Geschäft und war in dieser Eigenschaft seit 1. November 1972 der Ausgleichskasse des Kantons Schaffhausen als Selbstständigerwerbender angeschlossen. Diese erliess aufgrund der Steuermeldung vom 12. Oktober 1999 entsprechende Beitragsverfügungen. Gestützt auf das Rektifikat der Steuerverwaltung vom 21. August 2001 verfügte die Ausgleichskasse die Beiträge für die Jahre 1997, 1998, 1999 und 2000 am 13. September 2001 neu. Nachdem die kantonale Steuerverwaltung am 30. Mai 2002 der Ausgleichskasse mitgeteilt hatte, das Rektifikat vom 21. August 2001 sei unzutreffend, massgebend sei die Steuermeldung vom 12. Oktober 1999, setzte die Ausgleichskasse die Beiträge für die Jahre 1997 bis 2000 mit Verfügungen vom 13. Juni 2002 wiederum neu fest.
A. X._ führte mit seinem Bruder ein Geschäft und war in dieser Eigenschaft seit 1. November 1972 der Ausgleichskasse des Kantons Schaffhausen als Selbstständigerwerbender angeschlossen. Diese erliess aufgrund der Steuermeldung vom 12. Oktober 1999 entsprechende Beitragsverfügungen. Gestützt auf das Rektifikat der Steuerverwaltung vom 21. August 2001 verfügte die Ausgleichskasse die Beiträge für die Jahre 1997, 1998, 1999 und 2000 am 13. September 2001 neu. Nachdem die kantonale Steuerverwaltung am 30. Mai 2002 der Ausgleichskasse mitgeteilt hatte, das Rektifikat vom 21. August 2001 sei unzutreffend, massgebend sei die Steuermeldung vom 12. Oktober 1999, setzte die Ausgleichskasse die Beiträge für die Jahre 1997 bis 2000 mit Verfügungen vom 13. Juni 2002 wiederum neu fest.
B. Die hiegegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 14. Februar 2003 ab.
B. Die hiegegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 14. Februar 2003 ab.
C. X._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben; eventualiter sei der kantonale Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz bzw. an die Ausgleichskasse zurückzuweisen. Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Da keine Versicherungsleistungen streitig sind, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Eidgenössische Versicherungsgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
2. 2.1 Nach der Rechtsprechung sind neue Verfahrensvorschriften grundsätzlich mit dem Tag des Inkrafttretens sofort und in vollem Umfange anwendbar, es sei denn, das neue Recht kenne anderslautende Übergangsbestimmungen. Dieser intertemporalrechtliche Grundsatz kommt aber dort nicht zur Anwendung, wo hinsichtlich des verfahrensrechtlichen Systems zwischen altem und neuem Recht keine Kontinuität besteht und mit dem neuen Recht eine grundlegend neue Verfahrensordnung geschaffen worden ist (<ref-ruling> Erw. 2.2 mit Hinweisen; vgl. auch SVR 2003 IV Nr. 25 S. 76 Erw. 1.2).
Von den im Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrecht (ATSG) vom 6. Oktober 2000 enthaltenen Übergangsbestimmungen ist allein <ref-law> verfahrensrechtlicher Natur (<ref-ruling> Erw. 2.2). Dieser sieht vor, dass die Kantone ihre Bestimmungen über die Rechtspflege diesem Gesetz innert fünf Jahren nach seinem Inkrafttreten anzupassen haben; bis dahin gelten die bisherigen kantonalen Vorschriften. Der Untersuchungsgrundsatz, d.h. die Pflicht zur Abklärung des Sachverhalts und Erhebung der entsprechenden Beweismittel von Amtes wegen, richtet sich jedoch nach Bundesrecht (<ref-law> in der bis 31. Dezember 2002 geltenden Fassung). Aus der erwähnten Übergangsbestimmung ergibt sich somit nichts zu dieser Frage. Da der vorinstanzliche Entscheid nach dem 1. Januar 2003 erlassen wurde, ist nach dem Gesagten <ref-law> massgebend.
2.2 <ref-law> bestimmt, dass das Versicherungsgericht unter Mitwirkung der Parteien die für den Entscheid erheblichen Tatsachen feststelle, die notwendigen Beweise erhebe und in der Beweiswürdigung frei sei. Nachdem im Gesetzgebungsverfahren dieser Absatz unbestritten war und keine materielle Änderung beabsichtigt war, sondern lediglich eine redaktionelle Umarbeitung erfolgte (vgl. Kieser, ATSG-Kommentar, Zürich 2003, N 52 zu Art. 61), gilt die zu alt<ref-law> ergangene Rechtsprechung auch unter der Herrschaft von <ref-law>.
2.2 <ref-law> bestimmt, dass das Versicherungsgericht unter Mitwirkung der Parteien die für den Entscheid erheblichen Tatsachen feststelle, die notwendigen Beweise erhebe und in der Beweiswürdigung frei sei. Nachdem im Gesetzgebungsverfahren dieser Absatz unbestritten war und keine materielle Änderung beabsichtigt war, sondern lediglich eine redaktionelle Umarbeitung erfolgte (vgl. Kieser, ATSG-Kommentar, Zürich 2003, N 52 zu Art. 61), gilt die zu alt<ref-law> ergangene Rechtsprechung auch unter der Herrschaft von <ref-law>.
3. 3.1 Das sozialversicherungsrechtliche Verwaltungs- und Verwaltungsgerichtsbeschwerdeverfahren ist vom Untersuchungsgrundsatz beherrscht. Danach haben Versicherungsträger und Sozialversicherungsrichter von sich aus und ohne Bindung an die Parteibegehren für die richtige und vollständige Feststellung des rechtserheblichen Sachverhalts zu sorgen (<ref-ruling> Erw. 2, 122 V 158 Erw. 1a, je mit Hinweisen). Im Bereich der Alters- und Hinterlassenenversicherung ergibt sich dieser Grundsatz aus alt<ref-law> bzw. ab 1. Januar 2003 aus <ref-law> (vgl. oben Erw. 2.2).
Das Bundesrecht schreibt nicht vor, wie die einzelnen Beweise zu würdigen sind. Für das gesamte Verwaltungs- und Verwaltungsgerichtsbeschwerdeverfahren gilt der Grundsatz der freien Beweiswürdigung. Danach haben Versicherungsträger und Sozialversicherungsrichter die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen. Für das Beschwerdeverfahren bedeutet dies, dass der Sozialversicherungsrichter alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung der streitigen Rechtsanspruches gestatten (<ref-ruling> Erw. 3a; vgl. vorliegend für das kantonale Beschwerdeverfahren alt<ref-law> bzw. <ref-law> und für das Verfahren vor Eidgenössische Versicherungsgericht Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Um den Sachverhalt feststellen und die Beweise frei würdigen zu können, müssen dem Sozialversicherungsgericht sämtliche Akten vorliegen, damit es entscheiden kann, welche Unterlagen für die Beurteilung des streitigen Falles wesentlich und welche nicht wesentlich sind. Es liegt demnach nicht im Belieben der Verwaltung, im Beschwerdeverfahren dem Gericht nur jene Akten einzureichen, welche sie als notwendig für die Beurteilung des Falles betrachtet. Andernfalls würden die dargelegten Beweisgrundsätze ihres Gehalts entleert (vgl. zum Ganzen Urteil W. vom 10. Oktober 2001, U 422/00).
3.2 Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Beitrags- und Bemessungsperiode im ordentlichen Verfahren (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung), die Meldung der kantonalen Steuerverwaltung und deren Verbindlichkeit für die Ausgleichskassen (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung; AHI 1997 S. 25 Erw. 2b; ZAK 1992 S. 34 Erw. 3c, je mit Hinweisen) sowie die Voraussetzung der Wiedererwägung einer Verfügung (<ref-ruling> Erw. 2c mit Hinweisen) zutreffend dargelegt.
3.3 Der Beschwerdeführer reichte mit seiner Rechtsschrift die Nachtragsverfügungen für die Jahre 1997 bis 2000 vom 13. Juni 2002, das Schreiben der Ausgleichskasse vom 3. Juli 2002, die Neuveranlagung der kantonalen Steuerbehörden vom 20. Dezember 2000, die Staats- und Gemeindesteuerrechnungen 1997 bis 2000, die definitive Rechnung der direkten Bundessteuer 1999 vom 31. Januar 2001 sowie die Berichtigung der Steuermeldung vom 30. Mai 2002 ein. Die Ausgleichskasse legte ihrer Vernehmlassung lediglich die Steuermeldung vom 12. Oktober 1999, das Rektifikat vom 21. August 2001 sowie die Berichtigung vom 30. Mai 2002 bei.
Somit befinden sich insbesondere weder die ursprünglichen Beitragsverfügungen noch die Nachtragsverfügungen vom 13. September 2001 bei den Akten. Auch hat die Vorinstanz keinen Nachweis für das Vertretungsverhältnis seitens des Beschwerdeführers einverlangt (die entsprechende Vollmacht wäre den [nicht edierten] Akten der Ausgleichskasse zu entnehmen gewesen). Zudem ist aufgrund der spärlichen Aktenlage nicht klar, ob der Beschwerdeführer bereits im Verwaltungs- oder erstinstanzlichen Verfahren einen ausdrücklichen Antrag auf Neufestsetzung seiner Beiträge im ausserordentlichen Verfahren infolge Invalidität stellte (etwa im Schreiben an die Ausgleichskasse vom 28. Juni 2002 oder anderer Korrespondenz, etwa im Sinne des in der Beschwerde vom 15. Juli 2002 erwähnten Vorstelligwerdens bei der Ausgleichskasse im Nachgang zur steuerlichen Zwischenveranlagung). Denn obwohl die von der kantonalen Steuerverwaltung gemeldeten Zahlen für Ausgleichskasse und Sozialversicherungsgericht verbindlich sind, haben Verwaltung und Gericht unabhängig davon zu bestimmen, welches Beitragsbemessungsverfahren zum Zuge kommt, ob ein gemeldetes Einkommen aus unselbstständigem oder selbstständigem Erwerb stammt sowie ob das gemeldete Einkommen grundsätzlich der Beitragspflicht unterliegt (AHI 1997 S. 26 Erw. 2b mit Hinweisen). So wird das kantonale Gericht weiter zu prüfen haben, ob die Ausführungen in der Beschwerde vom 15. Juli 2002 (insbesondere unter Materielles Ziff. 1 ff.) einen sinngemässen Antrag auf Festsetzung der Beiträge im Verfahren nach <ref-law> in der bis 31. Dezember 2000 geltenden Fassung darstellen und die Voraussetzungen für dessen Anwendung gegeben sind.
3.4 Nach dem Gesagten ist der vorinstanzliche Entscheid wegen unvollständig festgestelltem Sachverhalt aufzuheben und an das kantonale Gericht zurückzuweisen, damit dieses nach erfolgter Abklärung des Sachverhaltes und in Ausschöpfung seiner vollen Kognition über die Beschwerde vom 15. Juli 2002 neu entscheide.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Obergerichts des Kantons Schaffhausen vom 14. Februar 2003 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie nach erfolgter Abklärung im Sinne der Erwägungen neu über die Beschwerde vom 15. Juli 2002 entscheide.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Obergerichts des Kantons Schaffhausen vom 14. Februar 2003 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie nach erfolgter Abklärung im Sinne der Erwägungen neu über die Beschwerde vom 15. Juli 2002 entscheide.
2. Die Gerichtskosten von Fr. 1'600.- werden der Ausgleichskasse des Kantons Schaffhausen auferlegt.
2. Die Gerichtskosten von Fr. 1'600.- werden der Ausgleichskasse des Kantons Schaffhausen auferlegt.
3. Der geleistete Kostenvorschuss von Fr. 1'600.- wird dem Beschwerdeführer zurückerstattet.
3. Der geleistete Kostenvorschuss von Fr. 1'600.- wird dem Beschwerdeführer zurückerstattet.
4. Die Ausgleichskasse hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1'200.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Die Ausgleichskasse hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1'200.- (einschliesslich Mehrwertsteuer) zu bezahlen.
5. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 16. Oktober 2003
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer: Die Gerichtsschreiberin: