Sachverhalt:
A. Y._ war seit 1948 als selbstständigerwerbender Architekt der Ausgleichskasse des Kantons Zürich angeschlossen. 1985 gründete er die Z._ AG, in welche er einen Teil seiner Liegenschaften einbrachte. Im Rahmen eines Beschwerdeverfahrens gegen Nachtragsverfügungen für persönliche Beiträge vom 15. August 1985 entschied das Eidg. Versicherungsgericht mit Urteil H 238/88 vom 3. Juli 1989, die Liegenschaft B._strasse gehöre zu seinem Privatvermögen. Nachdem Y._ am 1. Mai 2000 verstorben war, ging unter anderem diese Liegenschaft durch Erbgang ins Alleineigentum seiner Ehegattin A._ über, welche diese am 28. Juni 2001 veräusserte.
Gestützt auf eine Meldung des kantonalen Steueramtes Zürich vom 24. Februar 2004 (Veräusserungsgewinn von Fr. 487'933.- infolge nebenberuflichen, einmaligen Liegenschaftenhandels aus dem Verkauf der Liegenschaft B._strasse) setzte die Ausgleichskasse mit Verfügung vom 21. Mai 2004 die persönlichen Beiträge von A._ unter Berücksichtigung des Freibetrages für Altersrentner und basierend auf einem Einkommen von gerundet Fr. 471'100.- fest. Dagegen erhob A._ ebenso Einsprache wie gegen den Steuerbescheid. Die Ausgleichskasse sistierte das Verfahren bis zum rechtskräftigen Abschluss des Steuerverfahrens, in welchem das Bundesgericht am 8. Mai 2006 (2A.439/2005) entschied, dass unter anderem die fragliche Liegenschaft in steuerlicher Hinsicht als Geschäftsvermögen zu qualifizieren sei. Daraufhin wies die Ausgleichskasse die Einsprache mit Entscheid vom 4. Juli 2006 ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Mai 2008 ab, nachdem A._ am 23. Februar 2007 verstorben war und ihre Söhne B._ und R._ als gesetzliche Erben in den Prozess eingetreten waren.
C. B._ und R._ lassen Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, in Aufhebung des vorinstanzlichen Entscheides sei das selbstständige Einkommen von A._ für die Beitragsperiode 2001 auf Null festzusetzen.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung.
D. Der Instruktionsrichter forderte die Ausgleichskasse mit Verfügung vom 18. August 2008 auf, mitzuteilen, wie der Ertrag aus der Liegenschaft B._strasse ahv-beitragsrechtlich in den Jahren 1985-2001 behandelt worden sei. Die entsprechende Stellungnahme der Ausgleichskasse erging am 12. September 2008.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. <ref-ruling>).
2. 2.1 Gemäss <ref-law> schulden die erwerbstätigen Versicherten Beiträge auf dem aus einer unselbstständigen oder selbstständigen Erwerbstätigkeit fliessenden Einkommen. Nach <ref-law> ist Einkommen aus selbstständiger Erwerbstätigkeit jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt. Als selbstständiges Einkommen gelten laut <ref-law> (in der hier anwendbaren Fassung gemäss Änderung vom 1. März 2000, in Kraft seit 1. Januar 2001, in Verbindung mit SchlBest der Änderung Abs. 1) alle in selbstständiger Stellung erzielten Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf, sowie aus jeder anderen selbstständigen Erwerbstätigkeit, einschliesslich der Kapital- und Überführungsgewinne nach <ref-law> und der Gewinne aus der Veräusserung von land- und forstwirtschaftlichen Grundstücken nach <ref-law>, mit Ausnahme der Einkünfte aus zu Geschäftsvermögen erklärten Beteiligungen nach <ref-law>. Nicht unter den Begriff der selbstständigen Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> fällt die blosse Verwaltung des eigenen Vermögens; der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht. Gleiches gilt in Bezug auf Gewinne aus privatem Vermögen, welche in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt worden sind. Anderseits stellen Kapitalgewinne aus der Veräusserung oder Verwertung von Gegenständen des Privatvermögens, wie Wertschriften oder Liegenschaften, auch bei nicht buchführungspflichtigen (Einzel)Betrieben, Einkommen aus selbstständiger Erwerbstätigkeit dar, wenn und soweit sie auf gewerbsmässigem Handel beruhen (<ref-ruling> E. 3.1 S. 252 mit Hinweisen).
2.2 Gemäss <ref-law> gelten als Geschäftsvermögen alle Vermögenswerte, die ganz oder vorwiegend der selbstständigen Erwerbstätigkeit dienen. Der Begriff des Geschäftsvermögens setzt sich steuerrechtlich somit aus zwei Tatbestandsmerkmalen zusammen, einer selbstständigen Erwerbstätigkeit einerseits und dem Umstand, dass der fragliche Vermögensgegenstand dieser tatsächlich dient anderseits (Peter Locher, Kommentar zum DBG, Therwil/Basel 2001, Rz. 44, 124 zu Art. 18). Es sind keine Gründe erkennbar, sozialversicherungsrechtlich einen Zusammenhang zwischen Geschäftsvermögen und selbstständiger Erwerbstätigkeit zu verneinen. Schon aus begrifflicher Sicht kann nicht gesagt werden, Erträge aus der Bewirtschaftung von Geschäftsvermögen seien Einkünfte aus privater Vermögensverwaltung. Dass gleich wie im Steuerrecht auch im AHV-Beitragsrecht eine Verbindung zwischen Geschäftsvermögen und selbstständiger Erwerbstätigkeit besteht, erhellt namentlich aus <ref-law>. Danach unterliegen Überführungsgewinne nach <ref-law> der Beitragspflicht; diese stellen demzufolge Einkommen aus selbstständiger Erwerbstätigkeit dar (<ref-ruling> E. 4.2 S. 255; zu <ref-law>: <ref-ruling> E. 3 S. 421).
2.3 Nach <ref-law> obliegt es in der Regel den Steuerbehörden, das für die Berechnung der Beiträge Selbstständigerwerbender massgebende Erwerbseinkommen auf Grund der rechtskräftigen Veranlagung für die direkte Bundessteuer und das im Betrieb investierte Eigenkapital auf Grund der entsprechenden rechtskräftigen kantonalen Veranlagung zu ermitteln. Die Angaben der Steuerbehörden hierüber sind für die Ausgleichskassen verbindlich (<ref-law>).
Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskassen und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt. Diese Bindung betrifft also nicht die beitragsrechtliche Qualifikation und beschlägt daher nicht die Fragen, ob überhaupt Erwerbseinkommen und gegebenenfalls solches aus selbstständiger oder aus unselbstständiger Tätigkeit vorliegt und ob die Person, die das Einkommen bezogen hat, beitragspflichtig ist. Somit haben die Ausgleichskassen ohne Bindung an die Steuermeldung auf Grund des Rechts der Alters- und Hinterlassenenversicherung zu beurteilen, wer für ein von der Steuerbehörde gemeldetes Einkommen beitragspflichtig ist (<ref-ruling> E. 2c S.83, 114 V 72 E. 2 S. 75, 110 V 83 E. 4 S. 86 und 369 E. 2a S. 370, 102 V 27 E. 3b S. 31, je mit Hinweisen; Urteil H 36/03 vom 7. Juni 2004 E. 4.5). Das gilt namentlich auch für die Qualifikation eines Vermögensbestandteils als Privat- oder Geschäftsvermögen, zumal diese Unterscheidung steuerrechtlich häufig ohne Belang ist, da steuerrechtlich der Ertrag sowohl aus Privat- als auch aus Geschäftsvermögen steuerbar ist. Die Steuermeldung ist daher mit Bezug auf den Vermögensertrag keine zuverlässige Grundlage für die AHV-Beitragsfestsetzung, weshalb die Qualifikation als beitragsfreier Kapitalertrag auf Privatvermögen oder beitragspflichtiges Einkommen aus Geschäftsvermögen im Beitragsfestsetzungsverfahren erfolgen muss (Urteil H 361/96 vom 2. Juli 1997 E. 2c). In Bezug auf den Vermögensgewinn ist demgegenüber auch steuerrechtlich die Unterscheidung von Geschäfts- und Privatvermögen von Bedeutung, weshalb sich die AHV-Behörden in der Regel auf die Steuermeldungen verlassen können und eigene nähere Abklärungen nur dann vornehmen müssen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (134 V 250 E. 3.3 S. 253; <ref-ruling> E. 2a S. 370 und 83 E. 4 S. 86, 102 V 27 E. 3b S. 31 mit Hinweisen, Urteile H 49/02 E. 5 und H 239/85 E. 2b).
3. Streitig und zu prüfen ist, ob der aus der Veräusserung der Liegenschaft B._strasse erzielte Gewinn Einkommen aus selbstständiger Erwerbstätigkeit darstellt. Hierbei handelt es sich um eine Rechtsfrage, welche das Bundesgericht mit uneingeschränkter Kognition prüft (<ref-law>).
3.1 Das Eidg. Versicherungsgericht hat im erwähnten Urteil H 238/88 vom 3. Juli 1989 ahv-rechtlich (für die Beitragsperiode 1984/85, Bemessungsperiode 1981/82) entschieden, dass die fragliche Liegenschaft im Privatvermögen ist. Dieses Urteil ist nicht direkt rechtsverbindlich für die hier zur Diskussion stehende Beitragsperiode. Nach ständiger Praxis des Bundesgerichts kommt einer Veranlagung bei periodischen Steuern nur für die betreffende Periode Rechtskraft zu; die tatsächlichen und rechtlichen Verhältnisse können daher in einem späteren Veranlagungszeitraum anders gewürdigt werden. Die Erwägungen, worauf die Festsetzungen beruhen, haben nur die Bedeutung von Motiven; diese nehmen an der materiellen Rechtskraft der Entscheidung für sich allein grundsätzlich nicht teil. Rechtskräftig wird deshalb nur die Taxation als solche, nicht die rechtlichen Qualifikationen einzelner Posten, die dazu geführt hat (Urteil 2A.747/2004 vom 9. Mai 2005 E. 3.2; vgl. StE 2001 B 96.11 Nr. 6, 2A.192/2000 vom 9. Mai 2001 E. 1b/bb mit Hinweisen; ASA 69 S. 793 E. 2b/aa). Auch ahv-rechtlich wird der Beitrag jeweils für eine einzelne Beitragsperiode festgesetzt, wobei die einzelnen beitragsrelevanten Elemente nicht für künftige Beitragsperioden verbindlich festgesetzt werden. Ein für eine bestimmte Periode getroffener Entscheid verbietet daher nicht, eine Liegenschaft, die in einer vergangenen Periode dem Privatvermögen zugeordnet wurde, in einer folgenden Veranlagung unter Berücksichtigung der tatsächlichen Verhältnisse als Geschäftsvermögen zu qualifizieren (<ref-ruling> E. 7b S. 153). Immerhin müssen dafür Gründe vorliegen, welche eine andere Qualifikation nahe legen. Namentlich ist es unzulässig, nach Belieben eine Liegenschaft in einer Periode als Privatvermögen, in einer anderen hingegen als Geschäftsvermögen zu qualifizieren, bloss um die AHV-Beiträge zu maximieren.
3.2 Nach der Rechtsprechung ist der Grundsatz der parallelen Verabgabung von Vermögensgewinn und Vermögensertrag bei Annahme von Geschäftsvermögen zwingend (Urteile H 210/06 E. 6.3 vom 22. Juni 2007 und H 36/03 E. 6.5 vom 7. Juni 2004). Es kann nicht die Kaufs- und Verkaufstätigkeit als gewerbsmässig, der Ertrag aus dem Liegenschaftenbesitz aber als Ergebnis blosser Vermögensverwaltung betrachtet werden (Pra 1997 Nr. 80 S. 409 E. 5b). Das muss auch umgekehrt gelten: Wenn der Ertrag aus der Liegenschaft nicht als beitragspflichtiges Einkommen qualifiziert worden ist, kann auch der Gewinn bei der Veräusserung der Liegenschaft nicht plötzlich als Einkommen aus Geschäftsvermögen qualifiziert werden, ohne dass dafür überzeugende Gründe angeführt werden.
3.3 Die Vorinstanzen haben keine Umstände angeführt, welche gegenüber dem Jahre 1985 zu einer anderen ahv-rechtlichen Qualifikation der streitbetroffenen Liegenschaft führen könnten. Sie haben ihre Entscheide einzig damit begründet, nach der bundessteuerrechtlichen Beurteilung gemäss Bundesgerichtsurteil 2A.439/2005 vom 8. Mai 2006 (für das Steuerjahr 2001) gehöre die Liegenschaft zum Geschäftsvermögen. In diesem Urteil wird zunächst in E. 3.1 ausgeführt, Y._ habe zwischen 1951 und 1981 verschiedene Grundstücksgeschäfte getätigt, worunter auch die fragliche Liegenschaft in Elsau; es liege in Bezug auf diese Liegenschaften eine nebenberufliche selbstständige Erwerbstätigkeit vor. Anschliessend wird erwogen, die Liegenschaft sei auch nachher steuerrechtlich nicht ins Privatvermögen überführt worden (E. 3.2), namentlich auch nicht anlässlich der Umwandlung der Einzelfirma in eine Aktiengesellschaft (E. 3.3). Steuerrechtlich ist also die Qualifikation als Geschäftsvermögen nicht etwa damit begründet worden, es sei nach 1981 eine Änderung der Umstände eingetreten, sondern im Gegenteil gerade damit, es sei keine Änderung eingetreten gegenüber 1981, als die Liegenschaft bereits (steuerrechtlich) zum Geschäftsvermögen gehört habe.
3.4 Nun gehörte aber die Liegenschaft ahv-rechtlich (anders als steuerrechtlich) gemäss Urteil H 238/88 vom 3. Juli 1989 zu Beginn der achtziger Jahre zum Privatvermögen von Y._ (entgegen der Darstellung der AK in der Stellungnahme vom 12. September 2008 war die Liegenschaft gerade nicht im Eigentum der Z._ AG, sondern sie blieb immer im Eigentum von Y._ persönlich). Wenn - wie das auch steuerrechtlich feststeht - seit damals keine Änderung in den Verhältnissen eingetreten ist, liegen somit keine Gründe vor, um die damals geltende ahv-rechtliche Beurteilung zu ändern.
3.5 Die Ausgleichskasse hat denn auch den Ertrag aus der fraglichen Liegenschaft bis ins Jahr 2001 nie beitragsrechtlich erfasst, wie sie in der Stellungnahme vom 12. September 2008 bestätigt. Entgegen ihrer Darstellung in dieser Stellungnahme kann nicht davon ausgegangen werden, dass sie keine Kenntnis von dieser Liegenschaft bzw. daraus resultierenden Erträgen hatte: Sie hatte Kenntnis vom Urteil H 238/88 und aufgrund dessen auch von der Existenz der Liegenschaft und der Tatsache, dass diese nach damaliger höchstrichterlicher Beurteilung im Privatvermögen von Y._ stand. Wenn sie der Auffassung gewesen wäre, die Liegenschaft sei in der Folge in dessen Geschäftsvermögen überführt worden, so hätte sie für die daraus resultierenden Erträge entsprechende Beitragsverfügungen erlassen müssen. Das hat sie nicht getan.
3.6 Die Beschwerdegegnerin hat in ihrer Vernehmlassung vom 2. Oktober 2006 vor der Vorinstanz ausgeführt, was bisher als Privatvermögen qualifiziert wurde, könne durchaus 2001 ins Geschäftsvermögen überführt worden sein. Das ist zwar nicht grundsätzlich ausgeschlossen. Dass die im Todeszeitpunkt ihres Mannes 80-jährige A._ in diesem Zeitpunkt neu eine Geschäftstätigkeit als Liegenschaftshändlerin aufgenommen hätte, widerspricht aber jeglicher Lebenserfahrung und es liegen dafür auch im konkreten Fall keinerlei Indizien vor. Auch die Beschwerdegegnerin macht solches nicht geltend. Die Annahme von Geschäftsvermögen erfolgte erst mit dem Verkauf der Liegenschaft, dies nach dem Gesagten ohne hinreichende sachliche Gründe.
4. Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>), die zudem den Beschwerdeführern eine Parteientschädigung auszurichten hat (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. Mai 2008 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 4. Juli 2006 werden aufgehoben.
2. Die Gerichtskosten von Fr. 3'500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Januar 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke