Sachverhalt: A. Y._ war seit 1948 als selbstständigerwerbender Architekt der Ausgleichskasse des Kantons Zürich angeschlossen. 1985 gründete er die Z._ AG, in welche er einen Teil seiner Liegenschaften einbrachte. Im Rahmen eines Beschwerdeverfahrens gegen Nachtragsverfügungen für persönliche Beiträge vom 15. August 1985 entschied das Eidg. Versicherungsgericht mit Urteil H 238/88 vom 3. Juli 1989, die Liegenschaft B._strasse gehöre zu seinem Privatvermögen. Nachdem Y._ am 1. Mai 2000 verstorben war, ging unter anderem diese Liegenschaft durch Erbgang ins Alleineigentum seiner Ehegattin A._ über, welche diese am 28. Juni 2001 veräusserte. Gestützt auf eine Meldung des kantonalen Steueramtes Zürich vom 24. Februar 2004 (Veräusserungsgewinn von Fr. 487'933.- infolge nebenberuflichen, einmaligen Liegenschaftenhandels aus dem Verkauf der Liegenschaft B._strasse) setzte die Ausgleichskasse mit Verfügung vom 21. Mai 2004 die persönlichen Beiträge von A._ unter Berücksichtigung des Freibetrages für Altersrentner und basierend auf einem Einkommen von gerundet Fr. 471'100.- fest. Dagegen erhob A._ ebenso Einsprache wie gegen den Steuerbescheid. Die Ausgleichskasse sistierte das Verfahren bis zum rechtskräftigen Abschluss des Steuerverfahrens, in welchem das Bundesgericht am 8. Mai 2006 (2A.439/2005) entschied, dass unter anderem die fragliche Liegenschaft in steuerlicher Hinsicht als Geschäftsvermögen zu qualifizieren sei. Daraufhin wies die Ausgleichskasse die Einsprache mit Entscheid vom 4. Juli 2006 ab. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Mai 2008 ab, nachdem A._ am 23. Februar 2007 verstorben war und ihre Söhne B._ und R._ als gesetzliche Erben in den Prozess eingetreten waren. C. B._ und R._ lassen Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, in Aufhebung des vorinstanzlichen Entscheides sei das selbstständige Einkommen von A._ für die Beitragsperiode 2001 auf Null festzusetzen. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung. D. Der Instruktionsrichter forderte die Ausgleichskasse mit Verfügung vom 18. August 2008 auf, mitzuteilen, wie der Ertrag aus der Liegenschaft B._strasse ahv-beitragsrechtlich in den Jahren 1985-2001 behandelt worden sei. Die entsprechende Stellungnahme der Ausgleichskasse erging am 12. September 2008.