Sachverhalt: A. Mit Nachtragsverfügungen vom 10. Mai 2007 setzte die Ausgleichskasse des Kantons Graubünden das beitragspflichtige Einkommen des im Kanton X._ wohnhaften S._ aus selbstständiger Erwerbstätigkeit für die Jahre 2002 und 2003 auf Fr. 478'000.- und Fr. 1'033'600.- fest. Dieses Einkommen resultierte aus dem Verkauf zweier im Kanton Graubünden gelegenen Liegenschaften, woran S._ als Mitglied einer einfachen Gesellschaft zusammen mit einer weiteren Person Gesamteigentum hatte. Die Ausgleichskasse hiess die dagegen erhobene Einsprache mit Entscheid vom 13. Dezember 2007 teilweise gut und reduzierte das Einkommen aus selbstständiger Erwerbstätigkeit um die ausgewiesenen Schuldzinsen von Fr. 54'790.- (2002) und Fr. 15'786.- (2003) sowie um die Zinsen auf dem investierten Eigenkapital von Fr. 174'930.- (2002) und Fr. 69'475.- (2003). B. Das Verwaltungsgericht des Kantons Graubünden wies die hiegegen erhobene Beschwerde mit Entscheid vom 18. April 2008 ab. C. S._ lässt Beschwerde führen und beantragen, der angefochtene Entscheid und der Einspracheentscheid (einschliesslich der Beitragsverfügungen) vom 13. Dezember 2007 seien aufzuheben und es sei für die Jahre 2002 und 2003 kein AHV-pflichtiges Einkommen für Selbstständigerwerbende festzusetzen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.