Sachverhalt:
A. Mit Nachtragsverfügungen vom 10. Mai 2007 setzte die Ausgleichskasse des Kantons Graubünden das beitragspflichtige Einkommen des im Kanton X._ wohnhaften S._ aus selbstständiger Erwerbstätigkeit für die Jahre 2002 und 2003 auf Fr. 478'000.- und Fr. 1'033'600.- fest. Dieses Einkommen resultierte aus dem Verkauf zweier im Kanton Graubünden gelegenen Liegenschaften, woran S._ als Mitglied einer einfachen Gesellschaft zusammen mit einer weiteren Person Gesamteigentum hatte. Die Ausgleichskasse hiess die dagegen erhobene Einsprache mit Entscheid vom 13. Dezember 2007 teilweise gut und reduzierte das Einkommen aus selbstständiger Erwerbstätigkeit um die ausgewiesenen Schuldzinsen von Fr. 54'790.- (2002) und Fr. 15'786.- (2003) sowie um die Zinsen auf dem investierten Eigenkapital von Fr. 174'930.- (2002) und Fr. 69'475.- (2003).
B. Das Verwaltungsgericht des Kantons Graubünden wies die hiegegen erhobene Beschwerde mit Entscheid vom 18. April 2008 ab.
C. S._ lässt Beschwerde führen und beantragen, der angefochtene Entscheid und der Einspracheentscheid (einschliesslich der Beitragsverfügungen) vom 13. Dezember 2007 seien aufzuheben und es sei für die Jahre 2002 und 2003 kein AHV-pflichtiges Einkommen für Selbstständigerwerbende festzusetzen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. <ref-ruling>).
1.2 Grundsätzlich wendet das Bundesgericht das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Rechtsverletzungen und Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262, 130 III 136 E. 1.4 S. 140).
2. Streitig und zu prüfen ist, ob die aus dem Verkauf der im Kanton Graubünden gelegenen Liegenschaften erzielten Erlöse Einkommen aus selbstständiger Erwerbstätigkeit oder aus privater Vermögensverwaltung darstellen. Hiebei handelt es sich um eine Rechtsfrage, welche das Bundesgericht mit uneingeschränkter Kognition prüft (Art. 95 BGG).
3. 3.1 Gemäss Art. 4 Abs. 1 AHVG schulden die erwerbstätigen Versicherten Beiträge auf dem aus einer unselbstständigen oder selbstständigen Erwerbstätigkeit fliessenden Einkommen. Nach Art. 9 Abs. 1 AHVG ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Als selbstständiges Einkommen gelten nach Art. 17 AHVV alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach Art. 18 Abs. 2 DBG und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach Art. 18 Abs. 4 DBG, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach Art. 18 Abs. 2 DBG. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von Art. 9 Abs. 1 AHVG und Art. 17 AHVV fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel)Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 2a S. 385 mit Hinweisen).
3.2 Wie das Eidgenössische Versicherungsgericht im Urteil H 174/04 vom 2. Dezember 2004, E. 4.2 (SVR 2005 AHV Nr. 16 S. 53), erwogen hat, nimmt Art. 17 AHVV (in der bis 31. Dezember 2000 gültig gewesenen Fassung) die in Art. 18 Abs. 1 DBG verwendeten Begriffe wieder auf und verweist überdies bezüglich der Kapital- und Überführungsgewinne auf Art. 18 Abs. 2 DBG sowie hinsichtlich der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken auf Art. 18 Abs. 4 DBG. Die Bestimmung führt somit bei der Umschreibung des Einkommens aus selbstständiger Erwerbstätigkeit zu einer Harmonisierung zwischen dem Beitragsrecht der AHV und dem Steuerrecht. Soweit das AHVG und die AHVV keine abweichende Regelung enthalten, unterliegen grundsätzlich alle steuerbaren Einkünfte aus selbstständiger Erwerbstätigkeit auch der Beitragspflicht (Urteil H 17/05 vom 6. Juli 2005, E. 3.2 [SVR 2006 AHV Nr. 4 S. 12]; HANSPETER KÄSER, Die Auswirkungen des DBG, in: RENÉ SCHAFFHAUSER/UELI KIESER [Hrsg.], Aktuelle Fragen aus dem Beitragsrecht der AHV, St. Gallen 1998, S. 49 ff., 57).
3.3 Die Ausgleichskassen haben ohne Bindung an die Steuermeldung aufgrund des AHV-Rechts zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist. Allerdings sollen sich die Ausgleichskassen bei der Qualifikation gemeldeter Einkünfte in der Regel auf die Steuermeldungen verlassen und eigene nähere Abklärungen nur dann vornehmen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (<ref-ruling> E. 3.3 S. 253 f.).
4. Zur Abgrenzung zwischen privater Vermögensverwaltung und (selbstständiger) Erwerbstätigkeit haben Lehre und Rechtsprechung noch unter der Herrschaft des BdBSt verschiedene Kriterien entwickelt. Ob eine Erwerbstätigkeit vorliegt, ist immer nach der Gesamtheit der Umstände zu beurteilen (<ref-ruling> E. 2a S. 81; <ref-ruling> E. 3a S. 449). Als Indizien für eine über die blosse Vermögensverwaltung hinausreichende Erwerbstätigkeit fallen bei Liegenschaftsgewinnen etwa die (systematische oder planmässige) Art und Weise des Vorgehens, die Häufigkeit von Liegenschaftsgeschäften, der enge Zusammenhang eines Geschäftes mit der beruflichen Tätigkeit des Steuerpflichtigen, spezielle Fachkenntnisse, die Besitzesdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte oder die Verwendung des erzielten Gewinns bzw. die Wiederanlage in Liegenschaften in Betracht. Jedes dieser Indizien kann zusammen mit andern, im Einzelfalle jedoch unter Umständen auch bereits allein zur Annahme einer selbstständigen Erwerbstätigkeit ausreichen. So ist eine Erwerbstätigkeit anzunehmen, wenn eine steuerpflichtige Person ein Vermögensobjekt nicht bloss zum Zwecke der privaten Vermögensanlage oder in Ausnützung einer zufällig sich bietenden Gelegenheit, sondern in der offenkundigen Absicht erwirbt, es möglichst rasch mit Gewinn weiterzuveräussern, oder wenn sie sich bemüht, wie ein haupt- oder nebenberuflich selbstständig Erwerbstätiger die Entwicklung eines Marktes zur Gewinnerzielung auszunützen (vgl. BGE <ref-ruling> E. 3b S. 450). Nach der Rechtsprechung weist auf eine Erwerbstätigkeit auch hin, dass sich die pflichtige Person für ein bestimmtes Grundstücksgeschäft in einer einfachen Gesellschaft (Baukonsortium) mit einer Person verbindet, die sich in Ausübung ihres Berufes beteiligt und die Geschäftsführung für gemeinsame Rechnung im Einvernehmen mit ihr besorgt. In einem solchen Fall muss sich die pflichtige Person, die zur Erreichung des gemeinsamen Erwerbszwecks nur mit einer Einlage beigetragen hat, die vom geschäftsführenden Fachmann für Rechnung aller Teilhaber unternommenen Bemühungen wie eine eigene Erwerbstätigkeit anrechnen lassen (<ref-ruling> E. 3c S. 118 f. mit Hinweisen). Diese noch unter der Herrschaft des BdBSt entwickelte Praxis wurde auch unter dem DBG beibehalten: Veräusserungsgewinne sind daher steuerbar, wenn sie in einer über die schlichte Vermögensverwaltung hinausgehenden Tätigkeit erzielt werden, auch wenn keine in einem eigentlichen Unternehmen organisierte Aktivität vorliegt (<ref-ruling> E. 5e S. 123).
5. Entgegen der Auffassung der Vorinstanz und der Beschwerdegegnerin, welche sich im Wesentlichen auf Rz. 1021 (in der 2003 gültig gewesenen Fassung; seit 1. Januar 2008: Rz. 1022) der Wegleitung des BSV über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen [WSN;] in der AHV, IV und EO, stützt, ist nicht jedes aus einfacher Gesellschaft erzielte Einkommen automatisch Einkommen aus selbstständiger Erwerbstätigkeit. Vorausgesetzt ist vielmehr, dass die einfache Gesellschaft eine Erwerbstätigkeit ausübt (Art. 20 Abs. 3 AHVV; <ref-ruling> E. 4b S. 76); beschränkt sich die einfache Gesellschaft jedoch auf die gemeinsame Verwaltung privater Vermögen, sind die Gewinne aus der Veräusserung von Liegenschaften nicht beitragspflichtiges Einkommen (ZAK 1984 S. 223 E. 2b; 1980 S. 343 E. 3b und c; vgl. zum Steuerrecht <ref-ruling> E. 2 S. 659). Es gibt - anders als bei einer Kollektivgesellschaft (dazu <ref-ruling> E. 2b S. 82) oder einer Kommanditgesellschaft (ZAK 1985 S. 316 E. 2), die gesetzlich auf den Betrieb eines Gewerbes ausgerichtet sind (Art. 552 und 594 OR) - auch keine Vermutung, wonach eine einfache Gesellschaft einen Erwerbszweck verfolge (Urteil des Eidgenössischen Versicherungsgerichts vom 6. Juni 1994 H 23/92 E. 4b/bb), kann sie doch für beliebige, auch nicht erwerbliche, Zwecke errichtet werden (Art. 530 OR).
6. Das kantonale Gericht hat einzig aus der - nicht bestrittenen - Tatsache, dass der streitige Ertrag aus dem Verkauf von Liegenschaften herrührt, die der Beschwerdeführer zusammen mit einer anderen Person im Gesamteigentum gehalten hat, auf das Vorliegen eines beitragspflichtigen Einkommens geschlossen. Es hat jedoch keine Feststellungen dazu getroffen, ob eine einfache Gesellschaft mit Erwerbstätigkeit bestand. Der rechtserhebliche Sachverhalt ist daher unvollständig festgestellt (E. 1.1). Aus den Akten geht zwar hervor, dass die streitigen Liegenschaften steuerrechtlich offenbar als Privatvermögen betrachtet wurden. Dies ist indessen nur ein Indiz, welches aber nicht ausschlaggebend ist. Aufgrund der Akten lässt sich die Frage, ob eine einfache Gesellschaft mit Erwerbstätigkeit vorlag, nicht schlüssig beantworten, weshalb die Sache zur entsprechenden Abklärung an das kantonale Gericht zurückzuweisen ist.
7. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden Ausgleichskasse, um deren Vermögensinteresse es geht, aufzuerlegen (Art. 66 Abs. 1 und 4 BGG). Diese hat dem obsiegenden Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Graubünden vom 18. April 2008 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Die Gerichtskosten von Fr. 5000.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. November 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard