Sachverhalt: Sachverhalt: A. X._ führte mit seinem Bruder ein Geschäft und war in dieser Eigenschaft seit 1. November 1972 der Ausgleichskasse des Kantons Schaffhausen als Selbstständigerwerbender angeschlossen. Diese erliess aufgrund der Steuermeldung vom 12. Oktober 1999 entsprechende Beitragsverfügungen. Gestützt auf das Rektifikat der Steuerverwaltung vom 21. August 2001 verfügte die Ausgleichskasse die Beiträge für die Jahre 1997, 1998, 1999 und 2000 am 13. September 2001 neu. Nachdem die kantonale Steuerverwaltung am 30. Mai 2002 der Ausgleichskasse mitgeteilt hatte, das Rektifikat vom 21. August 2001 sei unzutreffend, massgebend sei die Steuermeldung vom 12. Oktober 1999, setzte die Ausgleichskasse die Beiträge für die Jahre 1997 bis 2000 mit Verfügungen vom 13. Juni 2002 wiederum neu fest. A. X._ führte mit seinem Bruder ein Geschäft und war in dieser Eigenschaft seit 1. November 1972 der Ausgleichskasse des Kantons Schaffhausen als Selbstständigerwerbender angeschlossen. Diese erliess aufgrund der Steuermeldung vom 12. Oktober 1999 entsprechende Beitragsverfügungen. Gestützt auf das Rektifikat der Steuerverwaltung vom 21. August 2001 verfügte die Ausgleichskasse die Beiträge für die Jahre 1997, 1998, 1999 und 2000 am 13. September 2001 neu. Nachdem die kantonale Steuerverwaltung am 30. Mai 2002 der Ausgleichskasse mitgeteilt hatte, das Rektifikat vom 21. August 2001 sei unzutreffend, massgebend sei die Steuermeldung vom 12. Oktober 1999, setzte die Ausgleichskasse die Beiträge für die Jahre 1997 bis 2000 mit Verfügungen vom 13. Juni 2002 wiederum neu fest. B. Die hiegegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 14. Februar 2003 ab. B. Die hiegegen erhobene Beschwerde wies das Obergericht des Kantons Schaffhausen mit Entscheid vom 14. Februar 2003 ab. C. X._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben; eventualiter sei der kantonale Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz bzw. an die Ausgleichskasse zurückzuweisen. Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.