Sachverhalt:
A. Dem Kanton Zürich gehört die am Burghölzlihügel in der Weinegg liegende Parzelle Nr. 4928 (heute: Nrn. RI5363 und RI5364) mit einer Fläche von etwa 49'000 m2. Nach der Bau- und Zonenordnung (BZO) 1963 lag die Parzelle in den Wohnzonen D und E.
1978 wurde in dem Gebiet eine Planungszone festgelegt. 1980 reichte die Vereinigung für Heimatschutz der Stadt Zürich eine Volksinitiative zur Rettung des Burghölzlihügels ein, welche eine umfassende Freihaltezone forderte. Der Gemeinderat von Zürich lehnte die Volksinitiative am 24. August 1983 ab, wies jedoch den westlichen Grundstückteil mit einer Fläche von etwa 26'700 m2 der Freihaltezone zu. Den östlichen Teil beliess er in der Wohnzone. Am 16. März 1988 trat der Entscheid in Kraft.
Im Zusammenhang mit der Gesamtrevision der BZO beantragte der Stadtrat von Zürich, den östlichen Teil des Grundstücks (ca. 22'300 m2) in der Bauzone zu belassen. Entgegen diesem Antrag entschied sich der Gemeinderat für eine Zuweisung zur Freihaltezone. Das Stimmvolk nahm die Vorlage in der Gemeindeabstimmung vom 17. Mai 1992 an. Das Bundesgericht bestätigte in der Folge die Zuweisung zur Freihaltezone jedoch nur in Bezug auf den mittleren Teil des Grundstücks (heute Parzelle Nr. RI5364) mit einer Fläche von 14'965.3 m2 (Urteil 1P.258/1997 vom 29. Mai 1998). Den östlichsten Teil von etwa 7'300 m2 musste die Stadt Zürich der Bauzone zuweisen.
Am 26. Oktober 1998 meldete der Kanton Zürich eine Entschädigungsforderung aus materieller Enteignung über Fr. 22'447'950.-- (14'965.3 m2 à Fr. 1'500.--) nebst Zins an. Die Schätzungskommission I des Kantons Zürich stellte mit Entscheid vom 19. Mai 2009 fest, dass die Zuweisung des mittleren Grundstückteils zur Freihaltezone eine materielle Enteignung bewirkt habe. Einen hiergegen gerichteten Rekurs der Stadt Zürich hiess das Verwaltungsgericht des Kantons Zürich gut und stellte mit Entscheid vom 17. Dezember 2009 fest, dass keine materielle Enteignung gegeben sei.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 24. Februar 2010 beantragt der Kanton Zürich, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass die Zuweisung des fraglichen Grundstückteils eine materielle Enteignung bewirkt habe. Eventuell sei die Sache an das Verwaltungsgericht zur Neubeurteilung zurückzuweisen.
Das Verwaltungsgericht des Kantons Zürich beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Stadt Zürich beantragt die Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung ARE hat auf eine Vernehmlassung verzichtet. In der Folge reichte der Kanton Zürich unaufgefordert eine weitere Stellungnahme ein.
Erwägungen:
1. Der angefochtene, kantonal letztinstanzliche Endentscheid verneint eine Entschädigungspflicht wegen materieller Enteignung. Dabei geht es um eine öffentlich-rechtliche Angelegenheit im Sinne von Art. 82 lit. a BGG. Ein Ausschlussgrund nach Art. 83 und Art. 85 BGG liegt nicht vor. Der vor der Vorinstanz unterlegene Beschwerdeführer ist als Grundeigentümer gleich wie ein Privater betroffen und zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2. 2.1 Der Beschwerdeführer macht geltend, es liege eine materielle Enteignung vor. Trifft dies zu, so ist gemäss Art. 26 Abs. 2 BV und Art. 5 Abs. 2 RPG (SR 700) volle Entschädigung zu leisten.
Die Voraussetzungen der materiellen Enteignung werden verschieden gehandhabt, je nachdem, welche Art der Planung vorliegt. Diese Frage ist deshalb vorab zu prüfen.
2.2 Mit Erlass der BZO 1992 hat die Stadt Zürich ihre Nutzungsplanung erstmals gesamthaft an die Anforderungen des Raumplanungsgesetzes angepasst. Die mit dieser Revision erfolgte Zuweisung des streitbetroffenen Grundstücks zur Freihaltezone stellt deshalb eine Nichteinzonung dar (vgl. BGE 132 II 218 E. 2.1 S. 220; 122 II 326 E. 5b S. 330 f.; je mit Hinweisen).
2.3 Nichteinzonungen lösen grundsätzlich keine Entschädigungspflicht aus. Sie treffen den Eigentümer nur ausnahmsweise enteignungsähnlich, so etwa dann, wenn er überbaubares oder grob erschlossenes Land besitzt, das von einem gewässerschutzrechtskonformen generellen Kanalisationsprojekt (GKP) erfasst wird, und wenn er für die Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet hat, wobei diese Voraussetzungen in der Regel kumulativ erfüllt sein müssen. Sodann können weitere besondere Gesichtspunkte des Vertrauensschutzes so gewichtig sein, dass ein Grundstück unter Umständen hätte eingezont werden müssen. Ein Einzonungsgebot kann ferner zu bejahen sein, wenn sich das fragliche Grundstück im weitgehend überbauten Gebiet befindet (BGE 132 II 218 E. 2.2 S. 220 f. mit Hinweisen).
Eine Gesamtwürdigung solcher rechtlicher und tatsächlicher Gegebenheiten kann zum Schluss führen, der Eigentümer habe mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Landes rechnen dürfen. Massgeblicher Stichtag für diese Beurteilung ist das Inkrafttreten des neuen Zonenplans, der die Eigentumsbeschränkung bewirkt (BGE 132 II 218 E. 2.3 und 2.4 S. 221 f. mit Hinweisen). Im vorliegenden Fall ist dies der 18. Dezember 1999.
2.4 Der Beschwerdeführer behauptet nicht, dass sich die betroffene Fläche im weitgehend überbauten Gebiet befinde. Er macht jedoch geltend, aufgrund der Erschliessungsverhältnisse und besonderer Gesichtspunkte des Vertrauensschutzes sei eine materielle Enteignung zu bejahen.
3. 3.1 Im angefochtenen Entscheid wird festgehalten, der fragliche Grundstückteil werde zwar von einem gewässerschutzrechtskonformen generellen Kanalisationsprojekt erfasst und die weitere Erschliessung mit Elektrizität und Wasser wäre problemlos möglich gewesen. Indessen sei fraglich, ob der Beschwerdeführer die strassenmässige Erschliessung ohne Weiteres aus eigener Kraft hätte bewerkstelligen können. Zudem habe er für die Erschliessung und Überbauung seines Landes noch keine Aufwendungen getätigt.
3.2 Der Beschwerdeführer bestreitet diese Ausführungen insofern, als seiner Ansicht nach der notwendige Strassenausbau sehr wohl ohne massgebliche Schwierigkeiten möglich gewesen wäre. Zudem ist er der Auffassung, dass vorliegend auf die Voraussetzung erheblicher Aufwendungen zu verzichten sei. Dies begründet er mit dem Verhalten der Stadt Zürich vor dem Nichteinzonungsentscheid und mit dem Umstand, dass der Kanton Zürich als Gemeinwesen einem Privaten nicht gleichgestellt werden könne. Die Planungszone, welche 1978 angeordnet worden sei, und der langwierige Prozess bis zum Inkrafttreten der Teilrevision der BZO von 1983 im Jahr 1988 hätten jegliche bauliche Nutzung in der gesamten Weinegg blockiert. Ab 1988 wäre zwar eine Überbauung möglich gewesen. Die kurze Zeitspanne bis zum Nichteinzonungsentscheid habe es ihm aber nicht erlaubt, die notwendigen Schritte vorzunehmen. Der Beschwerdeführer fügt an, es sei aus dem bundesgerichtlichen Verfahren 1P.258/1997 bekannt, dass er ursprünglich vorgesehen hatte, das Gelände mit Personalwohnungen für die nahe psychiatrische Universitätsklinik zu überbauen. Zwar habe im Zeitpunkt des Nichteinzonungsentscheids gerade kein aktueller Personalwohnungsbedarf bestanden, doch dürfe daraus nicht geschlossen werden, dass keinerlei Überbauung beabsichtigt gewesen sei. Vielmehr habe es hauptsächlich die Stadt Zürich zu vertreten, dass dem Beschwerdeführer die vollständige Erschliessung des fraglichen Grundstücks und die Überbauung verunmöglicht wurden.
3.3 Dem Beschwerdeführer ist darin zuzustimmen, dass die Überbauungsabsicht im Fall einer Nichteinzonung für die Frage der Entschädigungspflicht bedeutsam sein kann. Indessen muss diese Absicht manifestiert worden sein, ansonsten verliert der Grundeigentümer nämlich nur eine eher theoretische Nutzungsmöglichkeit (Urteile 1A.120/1993 vom 23. Mai 1995 E. 5d, in: ZBl 98/1997 S. 179; P.119/1976 vom 23. März 1977 E. 3c, in: ZBl 78/1977 S. 553). Aus dem vom Beschwerdeführer zitierten Bundesgerichtsentscheid geht hervor, dass er nach seinen eigenen Angaben vorgesehen hatte, das Gelände mit Personalwohnungen für die psychiatrische Universitätsklinik zu überbauen. Nachdem sich jedoch offenbar gezeigt hatte, dass zu jener Zeit kein zusätzlicher Personalwohnungsbedarf bestand und der Beschwerdeführer auch kein anderes konkretes Wohnbaubedürfnis genannt hatte, erschienen seine Überbauungsinteressen nach den Feststellungen des Bundesgerichts nicht mehr als derart gewichtig wie vordem (Urteil 1P.258/1997 vom 29. Mai 1998 E. 8b/aa). Bestanden indessen unstreitig keine im ausgeführten Sinn konkreten Überbauungsabsichten, so ist auch nicht ersichtlich, inwiefern die Stadt Zürich die vollständige Erschliessung und Überbauung verunmöglicht haben sollte. Daran ändert auch die Berufung des Beschwerdeführers auf die längeren Entscheidprozesse bei einem Gemeinwesen nichts. Dieser Umstand ist nicht von Bedeutung, solange - wie vorliegend - gar keine konkreten Projekte initiiert worden sind.
3.4 Ist unter diesem Gesichtswinkel der Tatbestand der materiellen Enteignung zu verneinen, so ist im Folgenden zu prüfen, ob eine Gesamtwürdigung unter Berücksichtigung weiterer Aspekte des Vertrauensschutzes zu einem anderen Ergebnis führt.
4. 4.1 Der Beschwerdeführer stellt sich auf den Standpunkt, die Vorgeschichte der Nutzungsplanfestsetzung sei auf eine Einzonung des Gebiets ausgerichtet gewesen. Der Gemeinderat habe am 24. August 1983 die Volksinitiative zur Rettung des Burghölzlihügels mit 63 zu 5 Stimmen klar abgelehnt und die Teilrevision der BZO ohne Gegenstimme angenommen. In der Folge sei die Initiative zurückgezogen worden. Mit einer Gemeindeabstimmung vom 10. März 1985 sei sodann die Volksinitiative zur Freihaltung der Grünflächen, die damals der öffentlichen Hand gehörten, abgelehnt worden. Weiter sei bedeutsam, dass die Stadt Zürich die 1983 beschlossene Teilrevision der BZO im anschliessenden Rechtsmittelverfahren mit Engagement vertreten habe. Dies alles zeige, dass ein Konsens über die Zonenabgrenzung in der Weinegg gefunden worden sei.
Der Beschwerdeführer kritisiert, das Verwaltungsgericht habe das Stimmenverhältnis in der genannten Abstimmung des Gemeinderats vom 24. August 1983 wie auch die Gemeindeabstimmung vom 10. März 1985 gar nicht erwähnt. Auch das Engagement für die Teilrevision der BZO von 1983 sei ausgeblendet worden. Damit habe das Verwaltungsgericht den Sachverhalt in einem wesentlichen Punkt unvollständig festgestellt (Art. 97 Abs. 1 BGG) und den Anspruch auf rechtliches Gehör verletzt (Art. 29 Abs. 2 BV).
4.2 Nach der Rechtsprechung kann der Vorgeschichte einer Nutzungsplanfestsetzung ein solches Gewicht zukommen, dass sich daraus die begründete Erwartung einer Einweisung von Land in eine Bauzone ergibt. Namentlich die Erschliessungsplanung oder durchgeführte Baulandumlegungen vermögen das Vertrauen zu wecken, davon erfasstes Land werde im neu zu erlassenden Zonenplan der Bauzone zugewiesen. Auch wenn keine konkreten Zusicherungen vorliegen, die nach dem Grundsatz von Treu und Glauben eine Pflicht zur Einzonung begründen, kann sich eine solche aus den der Nutzungsplanung vorangehenden besonderen Umständen herleiten.
Die Vorgeschichte und der Vertrauensschutz verleihen jedoch einem Grundeigentümer (gleich wie eine vollständige Erschliessung) keinen unbedingten Anspruch auf Zuteilung seiner Parzelle zu einer RPG-konformen Bauzone. Die bundesgerichtliche Rechtsprechung anerkennt, dass die Verwirklichung der Raumplanungsgrundsätze Vorrang vor der Beständigkeit eines altrechtlichen Plans hat. Wesentlich ist zunächst, ob die Vorgeschichte eine Abfolge von Ereignissen umfasst, die auf die Einzonung des Gebiets ausgerichtet war. Die Berufung auf Vertrauensschutzinteressen setzt weiter voraus, dass keine Kollision zum Interesse an der richtigen Durchsetzung des objektiven Rechts - hier einer RPG-konformen Nutzungsplanung - absehbar war (BGE 132 II 218 E. 6.1 und 6.2 S. 228 f. mit Hinweisen).
4.3 Der politische Prozess, welcher zum Erlass einer Nutzungsordnung führt, ist naturgemäss mit Unsicherheiten behaftet. Entgegen der Ansicht des Beschwerdeführers ist es deshalb nicht angezeigt, einzig aus dem Abstimmungsverhalten des Gemeinderats und der Haltung des Stadtrats gegenüber der Teilrevision der BZO 1963 ein schutzwürdiges Vertrauen herzuleiten. Zudem wurden 1980 und 1989 Volksinitiativen mit der Zielsetzung, die Landschaft um das Burghölzli freizuhalten eingereicht. Von einem eigentlichen Konsens betreffend die Zonenabgrenzung kann damit nicht gesprochen werden (vgl. in diesem Zusammenhang auch das Urteil 1C_70/2008 vom 22. Juni 2009 E. 7 mit Hinweis).
Aus dem vom Beschwerdeführer angeführten BGE 125 II 431 folgt nichts anderes. Das Bundesgericht bejahte in diesem Entscheid eine materielle Enteignung, weil die von einer Nichteinzonung betroffenen Grundeigentümer im Vertrauen auf die Überbaubarkeit ihres Landes Dispositionen getroffen hatten. Die Aufwendungen erfolgten im Nachgang eines Entscheids der Gemeindeversammlung, das betreffende Terrain in der Industriezone zu belassen. Sie erwiesen sich als nutzlos, da die Gemeindeversammlung ungefähr zweieinhalb Jahre später in Reaktion auf eine Volksinitiative die Zuweisung zur Nichtbauzone beschloss (a.a.O., E. 6 S. 438 f.). Der vorliegende Fall ist anders gelagert, denn der Beschwerdeführer beruft sich nicht darauf, irgendwelche Aufwendungen getätigt zu haben.
Auch aus BGE 132 II 218 kann der Beschwerdeführer nichts für sich ableiten. Richtig ist zwar, dass in jenem Fall nicht Vermögensdispositionen ausschlaggebend waren. Entscheidend war vielmehr, dass die von der Nichteinzonung betroffenen Parzellen in den Perimeter eines Quartierplans fielen, der bereits rechtskräftig war, als der Stadtrat dort eine Freihaltezone plante (a.a.O., E. 6.4). Solches trifft im vorliegenden Fall indessen ebenfalls nicht zu.
4.4 Auch wenn dem Beschwerdeführer insoweit zuzustimmen ist, dass die Vorgeschichte der Nutzungsplanung vorliegend eher hätte erwarten lassen, dass die streitbetroffene Fläche beim Erlass der BZO 1992 eingezont und nicht der Freihaltezone zugewiesen würde, folgt aus den vorangehenden Erwägungen, dass keine eigentlichen Vertrauensgesichtspunkte bestehen, die das Erfordernis von erheblichen Aufwendungen zu ersetzen vermöchten (vgl. Urteil 1C_70/2008 vom 22. Juni 2009 E. 6.2.1 und 6.2.4 mit Hinweisen). Das Verwaltungsgericht hat deshalb den Tatbestand der materiellen Enteignung zu Recht verneint. Offen bleiben kann, ob es dies auch aus anderen Gründen, namentlich der strassenmässigen Erschliessung oder dem Vorrang einer RPG-konformen Nutzungsplanung, hätte tun können.
4.5 Das Verwaltungsgericht hat die wesentlichen Überlegungen genannt, von denen es sich bei seinem Entscheid hat leiten lassen. Es erwähnte und würdigte insbesondere die ablehnende Haltung des Stadtrats gegenüber der Volksinitiative zur Rettung des Burghölzlihügels, den Gemeinderatsbeschluss vom 24. August 1983 wie auch die BZO-Vorlage der städtischen Planungsbehörden. Dass es dabei nicht auch ausdrücklich das Stimmenverhältnis in der Abstimmung des Gemeinderats, die Gemeindeabstimmung vom 10. März 1985 und das Engagement der Behörden für die Teilrevision der BZO von 1983 erwähnte, ist nicht zu beanstanden, zumal der Beschwerdeführer augenscheinlich in der Lage war, den Entscheid sachgerecht anzufechten (vgl. BGE 133 III 439 E. 3.3 S. 445 mit Hinweisen). Damit erweist sich die Rüge, die Vorinstanz habe den verfassungsmässigen Anspruch auf rechtliches Gehör verletzt (Art. 29 Abs. 2 BV) und den Sachverhalt in einem wesentlichen Punkt unvollständig festgestellt (Art. 97 Abs. 1 BGG), als unbegründet.
5. Nach dem Gesagten ist die Beschwerde abzuweisen. Diesem Ausgang entsprechend hat der Kanton Zürich, dessen Vermögensinteressen betroffen sind, die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 66 Abs. 1 und 4 BGG). Der obsiegenden Stadt Zürich steht keine Parteientschädigung für das bundesgerichtliche Verfahren zu (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 30'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 9. Juni 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Dold