Sachverhalt:
A. X._ und Y._ sind Eigentümer des Grundstücks Kat.-Nr. 11898 in A._ (Gemeinde B._). Auf der Parzelle steht ein Einfamilienhaus, das sie selber bewohnen. Am 30. März/6. April 2009 beschloss die Gemeindeversammlung von B._ eine Teilrevision der kommunalen Nutzungsplanung. Nebst fünf weiteren Gebieten wurde das Gebiet Gebiet D._ mit der Liegenschaft von X._ und Y._ von der Wohnzone W2/1,9 in eine Wohnzone W2/1,6 abgezont. Dagegen führten X._ und Y._ erfolglos Rekurs bei der Baurekurskommission II.
B. Am 18. Dezember 2009 stellten X._ und Y._ beim Gemeinderat von B._ ein Gesuch um Ausrichtung einer Entschädigung aus materieller Enteignung. Der Gemeinderat wies das Entschädigungsbegehren mit Beschluss vom 23. Februar 2010 ab und beantragte beim Statthalteramt des Bezirks C._ die Einleitung des Schätzungsverfahrens. Er stellte sich auf den Standpunkt, dass die Abzonung der Liegenschaft keinen enteignungsähnlichen Eingriff darstelle. X._ und Y._ beantragten, es sei das Vorliegen einer materiellen Enteignung festzustellen und ihnen eine Entschädigung von Fr. 925'000.-- zuzusprechen. Mit Entscheid vom 1. Dezember 2010 stellte die Schätzungskommission Kreis II des Kantons Zürich fest, es liege kein entschädigungspflichtiger Eingriff vor.
Hiergegen erhoben X._ und Y._ Rekurs beim Verwaltungsgericht des Kantons Zürich. Dieses gelangte zum selben Ergebnis wie die Schätzungskommission und wies den Rekurs mit Urteil vom 26. Mai 2011 ab.
C. Mit Eingabe vom 23. August 2011 führen X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen die Aufhebung des verwaltungsgerichtlichen Urteils, die Feststellung des Vorliegens einer materiellen Enteignung und die Zusprechung einer Entschädigung von Fr. 925'000.-- zu Lasten der Gemeinde B._.
Die Gemeinde B._ beantragt mit Beschwerdeantwort vom 12. Oktober 2011 im Hauptstandpunkt die Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich schliesst ebenfalls auf Abweisung der Beschwerde, soweit darauf einzutreten sei (Vernehmlassung vom 30. August 2011). Das Bundesamt für Raumentwicklung hat auf eine Stellungnahme verzichtet (Eingabe vom 16. November 2011).
Die Beschwerdeführer halten in Schlussbemerkungen vom 9. Dezember 2011 an ihren Begehren fest.
Erwägungen:
1. Das angefochtene Urteil ist ein Endentscheid einer letzten kantonalen Instanz und betrifft eine Angelegenheit des öffentlichen Rechts (Art. 90, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 82 lit. a BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ist daher zulässig (Art. 82 BGG). Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, sind als Grundeigentümer durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung bzw. Änderung, weshalb sie zur Beschwerde befugt sind (89 BGG). Auf die form- und fristgerecht eingereichte Beschwerde ist daher einzutreten.
2. Die Beschwerdeführer werfen der Vorinstanz eine Gehörsverletzung vor. Das Verwaltungsgericht habe sich nicht ausreichend mit ihren substanziierten Vorbringen auseinandergesetzt und im Wesentlichen nur die Ausführungen der Schätzungskommission wiederholt.
2.1 Der Anspruch auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen der vom Entscheid in ihrer Rechtsstellung betroffenen Person auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dies erfordert nicht, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich die betroffene Person über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sie sich hat leiten lassen und auf die sich ihr Entscheid stützt (BGE 136 I 229 E. 5.2 S. 236 mit Hinweisen).
2.2 Die Vorinstanz hat ausgeführt (E. 4.1 des angefochtenen Urteils), dass sich der Planungseingriff einer bestimmten Kategorie vom Bundesgericht beurteilter Fälle zuordnen lasse und davon nicht rechtswesentlich abweiche. Davon ausgehend hat sie weiter fallbezogen untersucht, ob die von der Rechtsprechung entwickelten Kriterien für einen entschädigungspflichtigen Eingriff erfüllt seien und die Frage verneint (E. 4.2 ), dies auch für die Tatbestandsvariante des sog. Sonderopfers (E. 5). Die Beschwerdeführer räumen selbst ein (insb. Rz 24 und 26 der Beschwerde), dass die im angefochtenen Entscheid angestellten Überlegungen von der bundesgerichtlichen Rechtsprechung ausgehen und klar erkennen lassen, aus welchen Gründen das Verwaltungsgericht zu seinem Urteil gelangt ist. Damit hat die Vorinstanz ihrer Begründungspflicht genügt. Die vorinstanzlichen Ausführungen haben die Beschwerdeführer in die Lage versetzt, die Leitlinien und die Tragweite des angefochtenen Erkenntnisses zu erfassen und ihre Kritik an der vertretenen Betrachtungsweise vorzutragen, was sie auch tun. Von einer Gehörsverletzung kann unter diesen Umständen nicht die Rede sein.
3. 3.1 Die Beschwerdeführer rügen, das Verwaltungsgericht habe die bundesgerichtliche Rechtsprechung zu Abzonungen falsch angewendet. Gewiss habe das Bundesgericht die Regel entwickelt, von einem schweren, entschädigungspflichtigen Eingriff sei solange nicht auszugehen, als eine wirtschaftlich sinnvolle Nutzung noch möglich bleibe. Es müsse aber in jedem Einzelfall durch einen Vergleich der Verfügungs- und Nutzungsmöglichkeiten vor und nach dem Eingriff ermittelt werden, ob dieser die Entschädigungspflicht auslöse. Nur bei Einschränkungen auf einem bestimmten Teil der Grundstücksfläche sei das Bundesgericht von der Faustregel ausgegangen, dass ein Drittel der Fläche entschädigungslos mit Baubeschränkungen belegt werden könne. Bei Lärmeinwirkungen könne dagegen schon eine Werteinbusse von 10% enteignungsrechtlich relevant sein. Im vorliegenden Fall würden die wirtschaftlichen Nutzungsmöglichkeiten durch die Abzonung um ca. 40% vermindert. Dadurch würden wesentliche Eigentumsbefugnisse entzogen. Eine wirtschaftlich sinnvolle Nutzungsmöglichkeit verbleibe ihnen nicht, weder bezogen auf den Bodenwert, noch auf das geplante Bauprojekt mit Terrassenwohnhäusern, noch auf ein anderes Bauprojekt. Die Gegenüberstellung des geplanten Vorhabens mit einem nach der Abzonung noch realisierbaren Bauprojekt ergebe eine Werteinbusse von Fr. 925'000.--; diese sei zu entschädigen.
3.2 Art. 5 Abs. 2 RPG hält - ebenso wie Art. 26 Abs. 2 BV - als Grundsatz fest, dass volle Entschädigung zu leisten ist, wenn Planungsmassnahmen zu Eigentumsbeschränkungen führen, die einer Enteignung gleichkommen. Dies ist der Fall, wenn einem Eigentümer der bisherige oder ein voraussehbarer künftiger Gebrauch seines Grundeigentums untersagt oder besonders stark eingeschränkt wird, weil ihm eine aus dem Eigentumsinhalt fliessende wesentliche Befugnis entzogen wird (erste Tatbestandsvariante der materiellen Enteignung). Geht der Eingriff weniger weit, so kann ausnahmsweise eine Eigentumsbeschränkung einer Enteignung gleichkommen, falls ein einziger oder einzelne Grundeigentümer so getroffen wird bzw. werden, dass ihr Opfer gegenüber der Allgemeinheit unzumutbar erscheint und es mit der Rechtsgleichheit nicht zu vereinbaren wäre, wenn hierfür keine Entschädigung geleistet würde (zweite Tatbestandsvariante der materiellen Enteignung; sog. Sonderopfer). In beiden Fällen ist die Möglichkeit einer zukünftigen besseren Nutzung der Sache nur zu berücksichtigen, wenn im massgebenden Zeitpunkt anzunehmen war, sie lasse sich mit hoher Wahrscheinlichkeit in naher Zukunft verwirklichen (zum Ganzen statt vieler BGE 131 II 728 E. 2 S. 730; 125 II 431 E. 3a S. 433 mit Hinweisen.
3.3 Das Verwaltungsgericht hat auf dem Boden dieser Rechtsprechung geurteilt und festgehalten, eine Abzonung wie die vorliegende sei entschädigungslos hinzunehmen, weil sie dem Grundeigentümer eine wirtschaftlich sinnvolle und gute Nutzungsmöglichkeit belasse. Auf die bei bestmöglicher Ausnützung des Eigentums erzielbar gewesene Rendite komme es nicht an. Die geplante Überbauung des Grundstücks mit drei Terrassenwohnungen sei nach wie vor möglich. Gewiss resultiere ein Baumassen- bzw. Nutzflächenverlust von ca. 16%. Trotzdem sei - nach Angaben der Beschwerdeführer selber - noch eine Rendite von 34,47% erreichbar. Die umstrittene Planungsmassnahme stelle daher keinen schweren Eingriff dar, der die Entschädigungspflicht nach sich ziehe.
3.4 Zunächst ist festzuhalten, dass die Zweckmässigkeit der beschlossenen Planungsmassnahmen im vorliegenden Zusammenhang nicht mehr zur Diskussion gestellt werden kann. Immerhin ist dazu anzumerken, dass das Postulat der Verdichtung baulicher Nutzung - so wichtig der haushälterische Umgang mit dem Boden ist - nicht einfach als planerisches Oberziel betrachtet werden kann, dem sich alle anderen Planungsanliegen unterzuordnen haben. Massgebend müssen eine Gesamtsicht und Optimierung der planerischen Interessen sein. Die Gemeinde B._ hat die letztmals 1994, damals im Zeichen der inneren Verdichtung, revidierte Nutzungsplanung im Jahre 2009 mit dem Ziel einer qualitätsorientierten Weiterentwicklung an die neuen Verhältnisse angepasst, namentlich um den nach einer raschen Wachstumsphase eingetretenen und absehbaren Veränderungen Rechnung zu tragen (Bericht des Gemeinderates zur Ortsplanungsrevision 2009 vom 10. Februar 2009, S. 3 f.; Ortsplanungsrevision B._, Erläuternder Bericht gemäss Art. 47 RPV vom 15. Juli 2009, S. 6 f. u. 24). Im Hinblick darauf und namentlich im Interesse einer besseren Abstimmung von alter und neuer Bausubstanz wurden in den Wohnzonen wieder Geschosszahlen eingeführt und sechs Gebiete, in denen sich grössere bauliche und strukturelle Veränderungen abzeichneten, von der Wohnzone W2/1,9 in eine Wohnzone W2/1,6 umgezont (Bericht des Gemeinderates, S. 4 f.; Erläuternder Bericht, S. 29 ff.). Dazu gehört auch das Gebiet Gebiet D._, in dem das Grundstück der Beschwerdeführer liegt. Angesichts einer in diesem Gebiet derzeit effektiv vorhandenen Baumassenziffer von 0.9 wurde das Verdichtungspotential mit der geltenden Baumassenziffer 1.9 als zu gross und potentiell störend erachtet und nach unten korrigiert (Bericht des Gemeinderates, S. 13 und 17; Erläuternder Bericht, S. 30). Das erscheint durchaus als einleuchtend und planerisch sinnvoll. Ein Verstoss gegen raumplanerische Vorgaben oder eine Missachtung planerischer Grundsätze ist jedenfalls nicht erkennbar.
3.5 Raumplanerische Festlegungen im Allgemeinen und die Nutzungsplanung im Besonderen sind keine Prozesse, die ein für alle Mal durchgeführt werden und danach abgeschlossen sind. Sie müssen veränderten Verhältnissen und Bedürfnissen Rechnung tragen und entsprechend angepasst werden können. Nach Ablauf einer gewissen Zeitspanne und jedenfalls eines Planungshorizonts von 10 bis 15 Jahren muss ein Grundeigentümer deshalb davon ausgehen, dass eine Überarbeitung und Revision der Planung erfolgen und er von Änderungen mitbetroffen sein kann. Das Bundesgericht hat bereits in früheren Urteilen darauf hingewiesen, dass kein Anspruch des Grundeigentümers auf Belassung seines Grundstücks in einer bestimmten bzw. einmal festgelegten Bauzone besteht (BGE 123 II 481 E. 6c S. 489; ZBl 98/1997 S. 179 E. 5b 181; 368 E. 4c/bb S. 371). Aufgrund neuer Erkenntnisse getroffene Planungsmassnahmen mit Auswirkungen auf die bauliche Nutzung gehören daher zur optimierten inhaltlichen Umschreibung der Eigentumsbefugnisse und sind grundsätzlich entschädigungslos hinzunehmen. Ein Abweichen von dieser Regel hat die bundesgerichtliche Rechtsprechung bloss dann zugelassen, wenn eine wesentliche aus dem Eigentum fliessende Befugnis aufgehoben wird, etwa wenn die Überbauungsmöglichkeit vollständig entzogen wird (BGE 123 II 481 E. 6d S. 489, auch zum Folgenden). Bleibt eine bestimmungsgemässe, wirtschaftlich sinnvolle und gute Nutzung aber erhalten, so begründet die Um- oder Abzonung einer Bauparzelle keinen schweren, entschädigungspflichtigen Eingriff. Entgegen der Meinung der Beschwerdeführer gewährleistet die Eigentumsgarantie als Wertgarantie die ungeschmälerte und dauernde Beibehaltung einer einmal eingeräumten bestimmten baulichen Nutzungsmöglichkeit somit nicht; im öffentlichen Interesse liegende Änderungen des zulässigen Nutzungsmasses mit Erhaltung einer sinnvollen Überbauungsmöglichkeit lösen keine Entschädigungspflicht des Gemeinwesens aus (s. auch ZBl 98/1997 S. 368 E. 4c/bb S. 371). In diesem Sinne hat das Bundesgericht eine Entschädigungspflicht verneint bei Verminderung der baulichen Ausnützung um ca. einen Drittel (BGE 97 I 632), Herabsetzung der Ausnützung um ca. drei Viertel (ZBl 86/1985 S. 211), einer Reduktion der Ausnützungsziffer von 0,8 auf 0,6 (BGE 114 Ib 112 E. 6b S. 121) und einer Nutzungseinbusse zufolge neuer Bau- und Niveaulinien von rund einem Drittel (ZBl 98/1997 S. 368, mit weiteren Beispielen ähnlicher nicht als schwer erachteter und entschädigungslos gebliebener Nutzungseinschränkungen in E. 4a S. 370; s. dazu auch ENRICO RIVA, Kommentar RPG, Art. 5 Rz. 167 u. 170).
3.6 Die hier in Frage stehende Herabsetzung der Baumassenziffer von 1,9 auf 1,6 (zweigeschossig) fällt nicht aus dem Rahmen solcher entschädigungslos hinzunehmender Planungsmassnahmen. Nach den für das Bundesgericht verbindlichen Feststellungen des Verwaltungsgerichts (Art. 105 Abs. 1 BGG) betragen der daraus resultierende Baumassenverlust und der Nutzflächenverlust ca. 16%. Die Parzelle an privilegierter Lage, die derzeit bloss mit einem Einfamilienhaus überbaut ist, bleibt bestimmungsgemäss nutzbar und kann auch einer neuen baulichen Nutzung, beispielsweise mit Terrassenwohnbauten, zugeführt werden, wie sie die Beschwerdeführer ins Auge gefasst haben. Ein derartiges Projekt ermöglicht nach den Feststellungen der Vorinstanz eine Rendite (Erlös abzüglich Anlagekosten) von ca. 34 %. Weshalb es bei dieser Sachlage ausgeschlossen sein soll, das Grundstück in Zukunft noch wirtschaftlich sinnvoll und gut zu nutzen, wie die Beschwerdeführer vorbringen, ist nicht nachvollziehbar. Gewiss wäre die erzielbare Rendite unter Beibehaltung der Baumassenziffer von 1.9 höher und resultiert verglichen mit einer Überbauung auf dieser Basis eine hypothetische Werteinbusse. Darauf bzw. auf die Erhaltung einer bestimmten oder gar bestmöglichen Ausnützung oder Rendite kann es aber nach dem Ausgeführten nicht entscheidend ankommen. Angesichts der verbleibenden, guten und rentablen Nutzungsmöglichkeiten kann nicht von einem schweren Eingriff gesprochen werden, der eine Entschädigungspflicht des Gemeinwesens begründet. Daran ändert der Hinweis der Beschwerdeführer auf Entschädigungsforderungen von Grundeigentümern wegen übermässiger Lärmbelastung (BGE 134 II 49) nichts. Zum einen handelt es sich dabei um die Enteignung nachbarrechtlicher Abwehransprüche und nicht um Planungsmassnahmen, die das Eigentum unangetastet lassen und nur die Nutzungsmöglichkeiten neu umschreiben. Zum andern geht es im erwähnten Zusammenhang um die Abgeltung übermässiger Lärmeinwirkungen, d.h. um von der Nutzungsordnung abweichende, darüber hinausgehende, zusätzliche Immissionen und nicht um mit der Nutzungsordnung verbundene immanente Einschränkungen. Die beiden Sachverhalte sind deshalb nicht vergleichbar.
4. Die Beschwerdeführer machen weiter geltend, aufgrund ihrer besonderen Betroffenheit sei zumindest unter dem Gesichtswinkel des ihnen zugemuteten Sonderopfers bzw. der Rechtsgleichheit (vgl. E. 3.2 hiervor) eine Enteignungsentschädigung geschuldet.
Mit dieser Argumentation vermögen sie ebenfalls nicht durchzudringen. Von der gleichen Planungsmassnahme sind zahlreiche weitere Grundeigentümer in sechs verschiedenen Gebieten in vergleichbarem Umfang betroffen (vgl. Bericht des Gemeinderates, S. 13 ff.). Von einer singulären Betroffenheit, die ein unzumutbares Opfer gegenüber der Allgemeinheit bedeuten würde, so dass es mit der Rechtsgleichheit nicht vereinbar wäre, wenn keine Entschädigung geleistet würde (vgl. BGE 131 II 728 E. 2 S. 730), kann unter diesen Umständen nicht gesprochen werden. Das Verwaltungsgericht hat dazu das Nötige gesagt (vgl. E. 5 des angefochtenen Entscheids). Seine Ausführungen brauchen nicht wiederholt zu werden. Es genügt, darauf zu verweisen.
5. Die Beschwerdeführer beanstanden auch die Kostenliquidation der Vorinstanz. Diese habe mit einer Gerichtsgebühr von Fr. 20'000.-- den möglichen Maximalbetrag erhoben. Da sie nur ein kurzes Urteil verfasst und darin im Wesentlichen die Argumentation der Schätzungskommission übernommen habe, sei dieser Betrag übersetzt und mit dem Kostendeckungs- und dem Äquivalenzprinzip nicht zu vereinbaren. Im Weiteren sei es willkürlich, ihnen (den Beschwerdeführern) eine Parteientschädigung von Fr. 4'000.-- wegen offensichtlicher Aussichtslosigkeit ihrer Rechtsbegehren aufzuerlegen, wie es das Verwaltungsgericht getan habe.
5.1 Gemäss § 3 der Gebührenverordnung des Verwaltungsgerichts vom 23. August 2010 (GebV VGr/ZH; LS 175.252) ist bei einem Streitwert zwischen Fr. 500'000.-- und Fr. 1 Mio. eine Gerichtsgebühr zwischen Fr. 15'000.-- und Fr. 20'000.-- zu erheben. Die Gebühr kann in besonders aufwendigen Verfahren verdoppelt werden (§ 4 Abs. 1 GebV VGr/ZH). Da die Entschädigungsforderung der Beschwerdeführer nahe bei Fr. 1 Mio. liegt, ist die Erhebung der für diesen Betrag vorgesehenen Normalgebühr unter Willkürgesichtspunkten nicht zu beanstanden. Dass die Gerichtsgebühren die Aufwendungen für die Gerichte im Allgemeinen und für das Verwaltungsgericht des Kantons Zürich im Besonderen nicht zu decken vermögen, kann als notorisch vorausgesetzt werden. Das Verwaltungsgericht verweist in diesem Zusammenhang auf einen jährlichen Aufwandüberschuss von mehreren Millionen Franken und einen Deckungsgrad von ca. 25%. Eine Verletzung des Kostendeckungsprinzips (dazu BGE 135 I 130 E. 2 S. 133 f.) liegt daher nicht vor. Es kann auch nicht gesagt werden, eine Gebühr von ca. 2% des Streitwerts liege in einem offensichtlichen Missverhältnis zur beanspruchten Leistung - der kantonal letztinstanzlichen Beurteilung einer hohen Entschädigungsforderung - und bewege sich nicht in vernünftigen Grenzen, weshalb die Gerichtsgebühr gegen das sog. Äquivalenzprinzip im Abgaberecht verstosse (vgl. BGE 132 II 371 E. 2.1 S. 375). Gewiss erscheint der vorliegend erhobene Gebührenbetrag nicht als niedrig bemessen. Er liegt jedoch im Rahmen der Vorgaben in der einschlägigen Gebührenverordnung, die der Genehmigung des Kantonsrates des Kantons Zürich bedarf (§ 40 Abs. 2 des Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 [VRG/ZH; LS 175.2]) Dieser verfügt über einen weiten Regelungsspielraum und fällt mit seiner Genehmigung auch einen politischen Entscheid über die Frage, in welchem Masse die Kosten der Gerichte im Kanton Zürich auf die Bürger, welche die Justiz konkret in Anspruch nehmen, überwälzt werden sollen. Dazu hat sich das Bundesgericht nicht auszusprechen, solange der Gebührentarif das übergeordnete Recht respektiert, was hier zutrifft.
5.2 Hinsichtlich der Verpflichtung zur Ausrichtung einer Parteientschädigung sind die Beschwerdeführer darauf hinzuweisen, dass das Verwaltungsgericht ihnen nach dem Wortlaut von § 17 Abs. 2 VRG/ZH eine Parteientschädigung an die Gegenpartei allein zufolge ihres Unterliegens hätte überbinden können. Die ausdrücklich vorgesehene Möglichkeit der Entschädigungspflicht wegen "offensichtlich unbegründeten Rechtsbegehren" (vgl. § 17 Abs. 2 lit. b VRG/ZH) stellt nur einen Anwendungsfall und keine besonders hoch angesetzte Schwelle für den Zuspruch einer Entschädigung an die obsiegende Partei dar. Vor diesem Hintergrund und angesichts der vom Verwaltungsgericht als Basis für seine Überlegungen herangezogenen bundesgerichtlichen Urteile kann der Vorinstanz keine Willkür vorgeworfen werden, wenn sie den Rekurs der Beschwerdeführer als wenig aussichtsreich und eine Entschädigung an die Gegenpartei als gerechtfertigt erachtet hat. Betragsmässig haben die Beschwerdeführer die Willkürrüge nicht näher ausgeführt, und es erübrigt sich daher die Überprüfung.
6. Aus dem Ausgeführten ergibt sich, dass sich die Beschwerde als unbegründet erweist und abzuweisen ist. Damit werden die Beschwerdeführer für das Verfahren vor dem Bundesgericht kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten im Betrag von Fr. 5'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Es werden keine Parteikosten zugesprochen.
4. Dieses Urteil wird den Parteien, der Schätzungskommission Kreis II des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt, den Behörden je unter Beilage der Schlussbemerkungen der Beschwerdeführer vom 9. Dezember 2011.
Lausanne, 9. Januar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner