Sachverhalt:
A. Am 28. Januar 2005 erwarb X._ das Grundstück Kat.-Nr. EN2283 am Sihlberg 10 mit der Villa Sihlberg und zugehöriger Parkanlage. Die vom Architekten August Albert Müller zwischen 1897 und 1898 erbaute Villa war jahrzehntelang Wohnsitz der Familie Hürlimann, welche die nahegelegene Brauerei betrieb. Die Parkanlage, die ursprünglich weitere Parzellen umfasste, stammt vom Gartenarchitekten Evariste Mertens. Die Villa samt Umgebung ist im Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung verzeichnet.
B. Nachdem X._ verschiedene Sanierungsarbeiten vorgenommen hatte, verfügte die Vorsteherin des Hochbaudepartements der Stadt Zürich am 7. Juni 2006 eine vorsorgliche Schutzmassnahme mit einjährigem Veränderungsverbot. Am 12. Juli 2006 stellte X._ ein Gesuch für verschiedene Umbauarbeiten, welche ihm mit Verfügung vom 7. August 2006 teilweise bewilligt wurden. Gleichzeitig wurde das Veränderungsverbot erneuert und der Gesuchsteller aufgefordert, allfällige unbewilligte Bauarbeiten sofort einzustellen.
C. Am 23. Mai 2007 stellte der Stadtrat von Zürich die Liegenschaft definitiv unter Schutz. Geschützt wurden neben der Villa auch Teile der Umgebung, namentlich der Garten mit der Einfriedung aus Sandsteinpfosten, die bekieste Vorfahrt samt dem gepflästerten Platz vor dem Gebäude und dem umlaufenden Kiesweg. Die charakteristische Topographie entlang der Sihlbergstrasse muss grundsätzlich beibehalten werden. Die Erstellung zusätzlicher ober- und unterirdischer Bauten ist ausgeschlossen; davon ausgenommen ist die Erstellung eines Neubaus von 260 m2 Grundfläche mit maximal drei Vollgeschossen, einem Attikageschoss und einem Untergeschoss. Hierfür legte der Stadtrat im Norden der Villa Sihlberg einen ca. 950 m2 grossen Baubereich fest.
D. Mit Beschluss vom 5. Mai 2008 verweigerte die Bausektion des Stadtrats Zürich X._ die baurechtliche Bewilligung für verschiedene, teilweise bereits ausgeführte bauliche und nutzungsmässige Massnahmen in der Villa Sihlberg. Sodann verfügte die Feuerpolizei der Stadt Zürich am 23. Dezember 2008, dass sich aufgrund der festgestellten feuerpolizeilichen Mängel maximal 15 Personen gleichzeitig in der Villa Sihlberg aufhalten dürfen.
E. Gegen die definitive Unterschutzstellung, die Verweigerung der Baubewilligung und die feuerpolizeiliche Verfügung gelangte X._ an die Baurekurskommission I des Kantons Zürich. Diese führte einen Kommissions- und einen Referentenaugenschein durch. Sie hiess den Rekurs gegen die Unterschutzstellung in zwei untergeordneten Punkten gut (betreffend die bereits unwiederbringlich veränderten Räume 1.10 und 1.11); im Übrigen wies sie die Rekurse am 7. August 2009 ab.
F. Dagegen erhob X._ am 21. September 2009 Beschwerde beim Verwaltungsgericht des Kantons Zürich. Er akzeptierte die weitgehende Unterschutzstellung des Innern der Villa, wandte sich aber gegen die Unterschutzstellung der Parkanlage und die Beschränkung des Baubereichs und des Neubauvolumens.
Das Verwaltungsgericht führte einen Augenschein durch und wies die Beschwerde am 13. August 2010 ab.
G. Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 27. September 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und das Geschäft sei zwecks Vornahme weiterer Sachverhaltsabklärungen und zu neuem Entscheid an den Stadtrat, eventualiter an das Verwaltungsgericht oder die Baurekurskommission zurückzuweisen. Subeventualiter sei Dispositiv-Ziff. 2 der Unterschutzstellungsverfügung des Stadtrats vom 23. Mai 2007 in Bezug auf folgende Teile ganz oder teilweise aufzuheben, zu ändern oder zu ergänzen:
Umgebung:
3.1. Der Garten sei mit Ausnahme der Einfriedung aus Sandsteinpfosten, des schmiedeeisernen Gartenzauns und der originalen schmiedeeisernen Gartentore sowie unter dem Vorbehalt von Antrag 3.2 aus dem Schutzumfang zu entlassen.
Die Unterbrechung des schmiedeeisernen Gartenzauns zwecks Erstellung einer Ein- und Ausfahrt in eine Tiefgarage gemäss Antrag 3.3 sei zuzulassen.
3.2. In Bezug auf die bekieste Vorfahrt und den gepflästerten Platz vor der Villa sei der Schutzumfang dahingehend einzuschränken, als dem Rekurrenten zu erlauben sei, diese Teile im Falle einer Erstellung von unterirdischen Bauten zu entfernen, unter dem Vorbehalt ihrer Wiederherstellung.
3.3. Der Baubereich für ober- und unterirdische Gebäude sei auf die blau umrandete Fläche gemäss dem der Rekursschrift vom 4. Juli 2007 beiliegenden Plan auszudehnen.
Ausserhalb der Villa seien unterirdische Gebäude auch ausserhalb des Baubereichs zuzulassen.
Zudem sei eine Ein- und Ausfahrt in eine Tiefgarage von der Sihlberg-Strasse her zuzulassen.
3.4. Die Beschränkung der Grundfläche eines Neubaus auf 260 m2 sei aufzuheben.
3.5. Die Beschränkung der Gebäudehöhe einer Neubaute innerhalb des Baubereichs sei dahingehend zu lockern, dass auch kleinere technisch bedingte Aufbauten davon ausgenommen sind.
3.6. Abgrabungen seien nicht nur für "untergeordnete" Zu- und Ausgänge, sondern insbesondere auch für eine Ein- und Ausfahrt zu einer Sammelgarage zuzulassen.
H. Das Verwaltungsgericht und das Hochbaudepartement der Stadt Zürich beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Zürcherische Vereinigung für Heimatschutz hat sich nicht vernehmen lassen.
Der Beschwerdeführer hat auf eine Replik verzichtet.

Erwägungen:
1. Da die Sachurteilsvoraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten vorliegen (<ref-law>), ist auf die Beschwerde grundsätzlich einzutreten, vorbehältlich nicht rechtsgenügend begründeter Rügen.
2. Vor Bundesgericht ficht der Beschwerdeführer nur noch die Unterschutzstellung der Gartenanlage und die damit verbundene Festlegung eines Neubaubereichs und -volumens an. Nicht mehr streitig sind somit die Bauverweigerung und die feuerpolizeiliche Verfügung wie auch die Unterschutzstellung der Villa Sihlberg selbst.
2.1 Die Unterschutzstellungsverfügung stützt sich auf die §§ 203 ff. des Zürcher Gesetzes über die Raumplanung und das öffentliche Baurecht (Planungs- und Baugesetz) vom 7. September 1975 (PBG), mithin auf kantonales Recht. Dessen Auslegung und Anwendung prüft das Bundesgericht grundsätzlich nur unter dem Blickwinkel des Verfassungsrechts, namentlich des Willkürverbots (<ref-law>; zur Kognition bei Eingriffen in die Eigentumsgarantie vgl. unten E. 6.1).
Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem Recht - wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde gegolten haben (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 1.3 S. 261 mit Hinweisen).
2.2 Das Bundesgericht ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.3 Im Folgenden sind zunächst die Rügen des Beschwerdeführers zu prüfen, welche die Unterschutzstellung des Gartens grundsätzlich in Frage stellen (unten E. 3). Im Anschluss daran sind die Rügen zur Festlegung des Neubaubereichs (unten E. 4) und des Neubauvolumens (E. 5) sowie die übrigen Rügen (E. 6 und 7) zu behandeln.
3. Der Beschwerdeführer macht geltend, der angebliche Typus "Grossvilla mit Parkanlage" könne nur geschützt werden, wenn die Parkanlage noch vorhanden sei, was offensichtlich nicht der Fall sei. Insofern sei der Garten aus der Unterschutzstellung zu entlassen. Es genüge, den Umschwung so weit frei zu lassen, als es für die Entfaltung der Aussenwirkung der unbestrittenermassen schutzwürdigen Villa erforderlich sei. In diesem Zusammenhang rügt der Beschwerdeführer eine Verletzung der Begründungspflicht und des rechtlichen Gehörs, weil nie nachvollziehbar begründet worden sei, weshalb es sich bei den letzten verbleibenden Fragmenten des Gartens um eine schützenswerte Parkanlage handle.
3.1 Im Unterschutzstellungsbeschluss des Stadtrats vom 23. Mai 2007 wird ausgeführt, dass die Villa Sihlberg zum Typus der Grossvillen mit Parkanlage gehöre, wie sie ab den 1860er Jahren bis knapp nach 1900 in Zürich entstanden seien (S. 1). Die Villa Sihlberg mit der Parkanlage sei ein wichtiger Zeuge einer wirtschaftlichen, sozialen und baukünstlerischen Epoche und damit ein Schutzobjekt gemäss § 203 Abs. 1 lit. c PBG. Die Villa sei im Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung und die Parkanlage im Inventar der schützenswerten Gärten und Anlagen von kommunaler Bedeutung aufgeführt. Zwar habe die von Evariste Mertens entworfene und zeitgleich mit der Villa realisierte Parkanlage, die neben der baumbegleiteten Auffahrtsstrasse noch einen landschaftlich gestalteten Park mit einem Nutzgarten umfasst habe, einschneidende Veränderungen erfahren. Der westlich der Villa auf gleicher Höhe gelegene Parkteil sei 1951 abparzelliert und 1952 mit einer dichten Wohnsiedlung überbaut worden. Dagegen sei die auf dem Grundstück Kat.-Nr. EN2283 bestehende Parkanlage erhalten geblieben (S. 3).
Der Unterschutzstellungsbeschluss stützt sich insbesondere auf ein gartendenkmalpflegerisches Gutachten, das im Auftrag der Fachstelle Gartendenkmalpflege der Stadt Zürich von den Landschaftsarchitekten ryffel + ryffel im Oktober 2006 erstellt wurde. Dort wird ausgeführt, dass der heutige Villengarten, obwohl nur noch ein Teilstück der ursprünglichen Anlage, noch ausgeprägte Merkmale des von Evariste Mertens gestalteten Gartens trägt und schutzwürdig sei (E. 3.3). Die noch vorhandenen Elemente (topografische Gestaltung, Rasenböschungen, Vorfahrt mit Natursteinpflaster und Chaussierung um die Villa sowie die Strasse Sihlberg) werden dokumentiert (mit Fotos und Karten) und ihre (materielle und/oder konzeptionelle) Schutzwürdigkeit begründet.
3.2 Aufgrund seines Augenscheins hielt das Verwaltungsgericht die Würdigung des gartendenkmalpflegerischen Gutachtens für nachvollziehbar und sachlich vertretbar (E. 2.2.1 des angefochtenen Entscheids). Das Verwaltungsgericht führte aus, dass Villa und Park zusammengehörten; die wichtige Zeugeneigenschaft im Sinne von § 203 Abs. 1 lit. c PBG liege u.a. auch in der zeittypischen Verbindung dieser beiden Bestandteile des Schutzobjekts. Dem werde die vom Beschwerdeführer verfochtene isolierte Betrachtung von Villa und Garten nicht gerecht.
Das Verwaltungsgericht verwies auf E. 7.1 des Rekursentscheids. Dort wird ausgeführt, dass der heute noch verbleibende Umschwung der Villa immer noch ausreichend gross und geeignet sei, die ursprüngliche Gartenidee von Evariste Mertens weitestgehend wiederzugeben. Die Wechselwirkung zwischen Umschwung und Villa sei nach wie vor existent. Sichtbar sei insbesondere die ausserordentlich gelungene Umsetzung der Geländetopographie zur Hervorhebung der Villa: Die beidseitig von einem schmiedeeisernen geschwungenen Zaun begleitete serpentinenartige Zufahrt schmiege sich, teilweise von Alleebäumen umsäumt, den Hügel entlang unterhalb des Gebäudes; von der Strasse aus werde das Solitärhafte der Villa durch die hoch und steil wirkenden Rasenflächen akzentuiert, welche die Kante des Moränenhügels präzis modellierten. Die Zufahrt ende mit einem unvermittelten Blick auf die schlossähnliche Villa. Diese stehe im Mittelpunkt einer einzigartigen, fast dramatischen Szenerie, welche eine theatralische Stimmung vermittle. Die heute im westlichen Teil der ehemaligen Parkanlage stehende Mehrfamilienhausüberbauung werde überhaupt nicht wahrgenommen, da sie durch dichte und sehr hohe Buchshecken vom Garten getrennt werde. Die vor rund 60 Jahren durchgeführte Abparzellierung des Areals führe keineswegs zu einer Entwertung des Umschwungs. Auch der verkleinerte Garten weise wesentliche Merkmale auf, die ihn für sich alleine und im Zusammenhang mit der bestehenden Villa als wichtigen Zeugen einer wirtschaftlichen und sozialen Epoche erscheinen liessen.
3.3 Damit haben die Vorinstanzen ausreichend begründet, weshalb die verbleibende Umgebung der Villa schützenswert ist und die für den Typus "Grossvilla mit Parkanlage" charakteristische Verbindung von Villa und Park weiterhin vorhanden ist. Es liegt weder eine Verletzung der Begründungspflicht noch des rechtlichen Gehörs vor.
Die Erwägungen der Vorinstanzen lassen auch keine Willkür erkennen. Unbehelflich ist insbesondere der Hinweis des Beschwerdeführers, dass mit der Ausscheidung eines Baubereichs noch ein weiterer Teil des Gartens überbaut werden dürfe. Das Verwaltungsgericht hat (in E. 2.2.1 S. 8) dargelegt, dass der Baubereich am Rand des schützenswerten Gartens liege und den Wert der noch vorhandenen Anlage nicht entscheidend beeinträchtige. Diese Würdigung kann jedenfalls nicht als willkürlich erachtet werden. Zwar ist die Preisgabe des noch vorhandenen Verbindungswegs zwischen der Villa und dem ehemaligen Brauereigelände als Zeuge der Geschichte des Areals zu bedauern (vgl. auch unten, E. 6.2). Es handelt sich aber nicht um einen zentralen, für die Inszenierung der Villa wesentlichen Bestandteil der von Evariste Mertens gestalteten Parkanlage.
4. Der Beschwerdeführer rügt weiter, der Baubereich sei viel zu restriktiv und damit willkürlich festgesetzt worden. Er beantragt, der Baubereich für ober- und unterirdische Gebäude sei auf die blau umrandete Fläche gemäss dem der Rekursschrift vom 4. Juli 2007 beiliegenden Plan auszudehnen. Er ist der Auffassung, auch das von ihm geforderte grössere Baufeld würde den angeblich schutzwürdigen Park nicht berühren. Insbesondere sei nicht nachvollziehbar, weshalb die Böschung inklusive Hangkante auch im nördlichen Bereich sakrosankt sein solle. Dies ergebe sich nicht aus dem gartendenkmalpflegerischen Gutachten, das nur die "Rasenböschungen im direkten Umfeld der Villa" (S. 18) als materiell schutzwürdig einstufe. Auch die Auffahrtsituation bleibe mit dem von ihm (dem Beschwerdeführer) beantragten Baufeld unverändert, weil dessen südöstliche Begrenzung mit derjenigen der Stadt übereinstimme, weshalb die Einsehbarkeit der Nordfassade nicht eingeschränkt werde. Schliesslich sei nicht nachvollziehbar, weshalb bei einer Überbauung des beantragten Baufelds die Villa im Schatten des Neubaus stehen würde, sei doch die Höhe des Neubaus auf die Traufhöhe der Villa beschränkt.
4.1 Der Stadtrat schied im Norden des Gartens einen Baubereich von ca. 950 m2 aus. Dieser wird im Norden durch das Areal der ehemaligen Brauerei (Parzelle Kat.-Nr. EN2293), im Osten durch die Hangkante und im Westen durch die Grenze zur Parzelle Kat.-Nr. EN2265 begrenzt. Im Süden verläuft die festgesetzte Baubegrenzungslinie auf einer Länge von 15 m zunächst rechtwinklig zur Hangkante und danach auf einer Länge von 21 m rechtwinklig zum westlich angrenzenden Grundstück Kat.-Nr. EN2269. Der Mindestabstand zur Villa Sihlberg beträgt 7 m.
Für den Stadtrat ergibt sich der Umfang des festgelegten Baubereichs aus dem Umgebungsschutz der Villa und dem Schutz des Gartens. Zum einen sei ein minimaler Respektabstand von der Villa einzuhalten; zum anderen seien der im Wesentlichen unverbaute Vorplatz vor der Villa und die Hangkante inklusive Böschung integral zu erhalten.
4.2 Das Verwaltungsgericht hielt die Überlegungen des Stadtrats zur Umschreibung des Baubereichs für nachvollziehbar und sachlich vertretbar. Die Villa brauche für ihre Entfaltung zwingend einen gewissen Freibereich, und die Erhaltung der schutzwürdigen Teile des Gartens rechtfertige die Freihaltung des Vorplatzes der Villa sowie das Verbot, die Rasenböschung sowie die Hangkante zu verändern, hinreichend. Ein in die Böschung vorgezogener Baukörper würde die Eleganz der schutzwürdigen Gartengestaltung zerstören und neben der Villa zu wuchtig und massiv in Erscheinung treten (E. 2.2.2.5). Würde der Baubereich gemäss den Vorstellungen des Beschwerdeführers ausgedehnt, würden (im Bereich der Villa) die chaussierte Vorfahrt sowie (zur Zufahrtsstrasse hin) die Modellierung des Hangs durch die dortige Rasenböschung beeinträchtigt, bei denen es sich gemäss gartendenkmalpflegerischem Gutachten um materiell und konzeptionell schutzwürdige Elemente handle (E. 2.2.2.1).
4.3 Der Beschwerdeführer bestreitet die Schutzwürdigkeit des Vorplatzes der Villa nicht und legt nicht dar, weshalb es willkürlich sei, diesen integral zu erhalten. Hinsichtlich der südlichen Grenze des Baubereichs genügt die Beschwerde daher den Begründungsanforderungen von <ref-law> nicht, weshalb darauf nicht einzutreten ist.
4.4 Näher zu prüfen ist daher nur noch die östliche Begrenzung des Baubereichs, entlang der Hangkante.
Die Schutzwürdigkeit der Rasenböschungen bis zur Hangkante auch im nördlichen Teil ergibt sich aus dem gartendenkmalpflegerischen Gutachten. Dort werden die topografische Gestaltung, die Rasenböschungen und die Vorfahrt zu den wichtigsten Stilelementen der ursprünglichen Anlage gezählt (Ziff. 3.2 S. 17). Zwar werden nur die "Rasenböschungen im direkten Umfeld der Villa" als "materiell und konzeptionell" schützenswert genannt (S. 18; auf der Karte S. 19 gelb eingezeichnet). Die Böschung im nördlichen Teil des Grundstücks wird aber als "konzeptionell schützenswert" bezeichnet (orange markierter Bereich, S. 19). Dies bedeutet, dass die originale Konzeption noch erkennbar ist, der Bereich aber keine originale Substanz mehr aufweist. Diese Bewertung bringt zum Ausdruck, dass die in diesem Bereich gepflanzten Bäume und Sträucher (im Gutachten S. 19 blau markiert) nicht erhalten werden müssen, wohl aber die ursprüngliche Konzeption, zu der insbesondere die steile Böschung entlang der Sihlbergstrasse bis zur Hangkante gehört. Auch die Denkmalpflegekommission betonte die Bedeutung der Hangkante und verlangte, dass diese intakt bleiben müsse (Augenschein und Sitzung vom 12. März 2007).
Es ist nachvollziehbar und keineswegs willkürlich anzunehmen, dass eine Überbauung über die Hangkante hinaus die Modellierung des Geländes teilweise zerstören würde. Zudem würde ein Neubau an dieser Stelle sehr deutlich in Erscheinung treten. Auch wenn dieser die Villa (aufgrund der Beschränkung der Bauhöhe) nicht überragen würde, könnte eine Überbauung der Hangkante den solitärhaften Eindruck der Villa und damit die von Mertens beabsichtigte Inszenierung der Villa als auf dem Hügel thronendes Schloss beeinträchtigen. Im Übrigen ist die Hangkante - wie auch die in den Akten liegenden Fotos belegen - besonders markant ausgeprägt und bietet sich schon deshalb als natürliche Begrenzung des Baubereichs an.
4.5 Der Antrag auf Aufhebung bzw. Ausweitung des festgelegten Baubereichs ist daher abzuweisen.
5. Weiter rügt der Beschwerdeführer die Beschränkung der Grundfläche eines Neubaus auf 260 m2 als willkürlich. Die Vorinstanzen hätten bis heute nicht nachvollziehbar begründet, weshalb eine solche Beschränkung aus denkmalpflegerischer und/oder städtebaulicher Sicht erforderlich sei. Die vom Stadtrat berücksichtigte Variantenstudie von Prof. Rüegg sei untauglich. Die Studie Hotz, die vom Baukollegium der Stadt zur Weiterbearbeitung empfohlen worden sei und ein weit grösseres Bauvolumen zugelassen habe, sei vom Stadtrat ignoriert worden. Auch wenn die Vorinstanzen das vom Beschwerdeführer selbst entworfene Bauprojekt als zu voluminösen und störenden Eingriff in den geschützten Garten abgelehnt hätten, könne daraus in keiner Weise das zugestandene, mehr als dreimal kleinere Bauvolumen abgeleitet werden. Der Sachverhalt sei ungenügend abgeklärt worden; insbesondere hätten weitere Projekt- oder Machbarkeitsstudien erstellt werden müssen. Die Behörden hätten die Mitwirkungspflicht des Beschwerdeführers willkürlich überdehnt, indem sie ihm den Nachweis der Verträglichkeit eines Neubaus mit dem Schutzobjekt auferlegt hätten. Der Beschwerdeführer vermutet, dass die Umschreibung des Baubereichs nur deshalb so restriktiv ausgefallen sei, weil er sich aus Sicht der Behörden zu wenig kooperativ verhalten habe. Dies sei willkürlich.
5.1 Die Stadtrat Zürich legt dar, dass das Volumen eines Neubaus zwangsläufig beschränkt werden müsse, um die dominierende Erscheinung der die Hügelkuppe krönenden Villa nicht zu stören. Der ermöglichte Neubau sei als Haus im Park der Villa gedacht und solle sich hinsichtlich seines Volumens und seiner Lage der Villa unterordnen.
Das festgelegte Bauvolumen sei u.a. aufgrund der Variantenstudie des Architekturbüros Prof. Arthur Rüegg festgelegt worden, die im Auftrag der früheren Eigentümer erarbeitet worden sei. Darin seien drei Varianten vorgelegt worden: Variante A "Kristall" mit 270 m2 Grundfläche, Variante B "Ellipse" mit 260 m2 Grundfläche und Variante C "Kante" mit 410 m2 Grundfläche. Die Studie habe gezeigt, dass die Varianten "Kristall" und "Ellipse" als Zusatzbauten im Park und zur Villa zugehörig wahrgenommen würden. Bei der Variante "Ellipse" sei negativ bewertet worden, dass das Gebäude die Hangkante teilweise überstelle; angesichts seiner Grundfläche liesse sich das Gebäude aber ohne Weiteres nach Westen, hinter die Hangkante, verschieben. Dagegen beanspruche der Vorschlag "Kante" im Verhältnis zur Villa zu viel Fläche und missachte das geforderte Primat der Villa. Die Stadt habe sich daher bei der Festlegung der Grundfläche des Neubaus an den Varianten A und B von Prof. Rüegg orientiert; dagegen sei das zulässige Bauvolumen mit drei Vollgeschossen, einem Attika- und einem Untergeschoss erheblich erhöht worden (die Varianten "Kristall" und "Ellipse" sahen nur ein anrechenbares Voll- und ein Untergeschoss vor).
Die Stadt habe sich weiter auf die Rückmeldungen des Baukollegiums und der Denkmalpflegekommission zu den Bebauungsstudien des Architekten Theo Hotz vom 24. November 2005 gestützt. Das Baukollegium habe die Studie Hotz in ihrer Sitzung von 13. März 2006 behandelt und städtebauliche und architektonische Anforderungen für einen Neubau formuliert. Es treffe nicht zu, dass das Kollegium gegen das Bauvolumen nichts einzuwenden gehabt habe. Vielmehr habe es in seiner Stellungnahme festgehalten, dass ein anderes Verhältnis zwischen Villa und Neubau gesucht werden müsse: Das Prinzip, dass der Villa ein "gleichwertiger" Neubau dazugesetzt werde, müsse zugunsten des eindeutigen Primats der Villa zurückgenommen werden. Das Baukollegium habe verlangt, dass sich der Neubau entweder deutlich unterordnen oder mehr in den Hintergrund treten müsse; die Villa als primärer Solitär müsse auf mindestens drei Seiten frei und die Auffahrt, welche die Villa eigentlich inszeniere, erhalten bleiben.
Das Baukollegium habe gewünscht, dass ihr nochmals ein überarbeitetes Projekt vorgelegt werde. Dazu sei es aber nicht gekommen; vielmehr habe der Beschwerdeführer die vorgesehene zweite Sitzung mit dem Baukollegium abgesagt und am 17. Januar 2007 ein neues, eigenes Projekt vorgelegt, das den denkmalpflegerischen und städtebaulichen Vorgaben in keiner Weise entsprochen habe. Gleiches gelte für das Projekt des Beschwerdeführers vom 22. April 2008, das mehrgeschossig direkt an die Villa andocken und den Hügel grossflächig abtragen wollte.
In seiner Vernehmlassung räumt der Stadtrat ein, dass die Denkmalpflege wiederholt angeregt habe, in Zusammenarbeit mit dem Beschwerdeführer eine Machbarkeitsstudie zu erarbeiten, um damit die Möglichkeiten für einen Neubau auszuloten. Die Studie hätte Grundlage für einen Dialog sein sollen, der in eine einvernehmliche, vertraglich festgelegte Unterschutzstellung münden sollte. Dies ändere aber nichts an der Tatsache, dass die Umschreibung des Schutzumfangs und die darauf basierenden Festlegungen für einen Neubau auch ohne zusätzliche Machbarkeitsstudien rechtmässig erfolgt seien.
5.2 Das Verwaltungsgericht hielt fest, dass die einseitige Anordnung von Schutzmassnahmen durch Verfügung zwangsläufig mit einer gewissen Starrheit verbunden und die Umschreibung des Baubereichs möglicherweise einschränkender ausgefallen sei, als wenn ausgehend von einem im Einvernehmen mit den Behörden entwickelten Neubauprojekt die Unterschutzstellung vertraglich hätte geregelt werden können. Dass es nicht zu einer solchen vertraglichen Lösung gekommen sei, habe sich der Beschwerdeführer jedoch selbst zuzuschreiben (E. 2.2.2.3 S. 10 des angefochtenen Entscheids). Nachdem der Beschwerdeführer kein mit dem Schutzziel verträgliches Konzept für einen Neubau vorgelegt habe, habe sich der Stadtrat damit begnügen dürfen, die Randbedingungen zu formulieren, die ein die Schutzobjekte respektierender Neubau zu beachten habe. Nach der umfassenden Begutachtung von Villa und Park sowie der Würdigung der Studien Rüegg und Hotz durch Baukollegium und Denkmalpflegekommission seien hierfür keine weiteren Abklärungen erforderlich gewesen (E. 2.2.2.4).
5.3 Diese Erwägungen sind aus verfassungsrechtlicher Sicht nicht zu beanstanden. Wie aus den Akten hervorgeht, wollte die Denkmalpflege der Stadt Zürich mit dem Beschwerdeführer eine einvernehmliche vertragliche Lösung finden; der Schutzumfang sowie Baubereich und -volumen sollten auf der Grundlage eines konkreten Projekts festgelegt werden. Da ein Neubauprojekt den Vorstellungen und Wünschen des Eigentümers entsprechen muss, ist es sinnvoll und keinesfalls willkürlich, von diesem entsprechende Projekt- oder Machbarkeitsstudien zu verlangen.
Der Beschwerdeführer liess zwar Studien für eine Überbauung von Theo Hotz anfertigen und legte diese dem Baukollegium vor. Anstatt jedoch die vom Baukollegium zur Überarbeitung empfohlene Studie weiterzuverfolgen, sagte er seine Teilnahme an der zweiten Sitzung des Baukollegiums ab und legte ein eigenes Neubauprojekt vor, ohne die Vorgaben des Baukollegiums und der Denkmalschutzkommission zu berücksichtigen. Unter diesen Umständen durfte die Stadt die Suche nach einer einvernehmlichen Lösung abbrechen und eine Schutzverfügung erlassen, in welcher der Neubaubereich abstrakt festgelegt wurde. Dies gilt umso mehr, als der Beschwerdeführer eigenmächtig Veränderungen am Schutzobjekt vornahm, weshalb durch Erlass einer Verfügung möglichst rasch Klarheit über den Schutzumfang geschaffen werden musste.
Im Rahmen der Schutzverfügung ging es nicht mehr um ein konkretes Neubauprojekt, sondern um die Festlegung eines mit dem Schutzobjekt verträglichen Neubauvolumens. Hierfür boten die Studien von Prof. Rüegg und Theo Hotz sowie die Stellungnahmen des Baukollegiums und der Denkmalpflege eine ausreichende Grundlage.
Die Varianten A und B ("Kristall" und "Ellipse") von Prof. Rüegg, die nach Auffassung der kommunalen Behörden den Anforderungen an einen Ergänzungsbau genügten, bestanden beide aus einem einzigen Baukörper mit einer Grundfläche von 260 - 270 m2. Dagegen wurden alle Studien mit grösseren Bauvolumen (Variante C "Kante" von Prof. Rüegg; Studien Hotz; Bauprojekte des Beschwerdeführers) von den städtischen Behörden als zu voluminös beurteilt. Insofern lag es nahe, die Grundfläche eines Neubaus in Anlehnung an die Varianten A und B von Prof. Rüegg festzulegen. Immerhin wurde dem Beschwerdeführer - im Vergleich zu den Varianten Rüegg - ein Mehrfaches an Geschossen und damit an Bauvolumen zugestanden.
Die Studien von Theo Hotz, die ein grösseres Bauvolumen vorsahen, wurden von der Stadt keineswegs ignoriert. Vielmehr wurden sie vom Baukollegium begutachtet und zur Überarbeitung zurückgewiesen, weil sich der Neubau der Villa nicht genügend unterordne bzw. nicht genügend in den Hintergrund trete. Diese Beurteilung lässt keine Willkür erkennen: Die Annahme, dass ein Baukörper, der das Baufeld (fast) ganz ausfüllt, die geschützte Villa schon von seinem Volumen her konkurrenziert und deshalb nicht mehr als Teil der Villa mit dem dazugehörigen schützenswerten Garten in Erscheinung treten würde, erscheint vertretbar. Dies gilt unabhängig von der Einhaltung der von Hotz definierten "Sichtachsen", weshalb das Verwaltungsgericht sich mit diesen nicht auseinandersetzen musste Es kann auch keine Rede davon sein, dass eine Baute mit einer Grundfläche von immerhin 260 m2 und drei Vollgeschossen ein pavillonartiger "Mini-Baukörper" wäre, der selbst vom Baukollegium abgelehnt worden sei.
Die Rügen der Verletzung des rechtlichen Gehörs, der Begründungspflicht und des Willkürverbots im Zusammenhang mit der Festlegung des Neubauvolumens sind daher abzuweisen.
6. Der Beschwerdeführer rügt weiter eine Verletzung der Eigentumsfreiheit (<ref-law>) und des Verhältnismässigkeitsprinzips (<ref-law>). Die unnötig restriktive Festlegung des Baubereichs reduziere die auf dem Grundstück vorhandenen Ausnützungsreserven von 2'606 m2 auf weniger als ein Drittel und stelle einen unverhältnismässigen Eingriff in sein Eigentum dar. Ein grösseres Bauprojekt sei offensichtlich sowohl aus denkmalschützerischer wie auch aus städtebaulicher Sicht möglich. Ohne einen grösseren Baubereich könne er die enormen Unterhaltskosten für die Villa nicht tragen. Die finanziellen Interessen des Beschwerdeführers seien zu Unrecht nicht berücksichtigt worden.
6.1 Eigentumsbeschränkungen sind nur zulässig, wenn sie auf einer gesetzlichen Grundlage beruhen, im überwiegenden öffentlichen Interesse liegen und sich unter den gegebenen Umständen als verhältnismässig erweisen (<ref-law>).
Liegt ein schwerer Eingriff in die Eigentumsrechte vor, prüft das Bundesgericht die Auslegung des kantonalen Rechts frei, ansonsten nur auf Willkür hin (<ref-ruling> E. 3a S. 366; <ref-ruling> E. 3c S. 185); dagegen prüft es die Verhältnismässigkeit des Eingriffs grundsätzlich frei (<ref-ruling> E. 3c S. 121 mit Hinweis).
Wie im Folgenden (E. 6.2) näher darzulegen sein wird, handelt es sich nicht um einen besonders schwer wiegenden Eingriff in die Eigentumsgarantie. Es wurde bereits oben (E. 4 und 5) dargelegt, dass sich die Unterschutzstellung der Parkanlage und, damit verbunden, die Festlegung von Neubaubereich und -volumen, willkürfrei auf die Bestimmungen des PBG zum Heimatschutz, namentlich die §§ 203 Abs. 1 lit. c, 205 lit. c und 207 Abs. 1 PBG stützen können.
6.2 Die Stadt Zürich hat das (finanzielle) Interesse des Beschwerdeführers an einer Überbauung des Grundstücks sehr wohl berücksichtigt: Anstatt die Parkanlage vollständig unter Schutz zu stellen (mit Ausnahme des schmalen, nicht schutzwürdigen Streifens südlich des Verbindungswegs; vgl. gartendenkmalpflegerisches Gutachten, Abb. 16 S. 19), legte der Stadtrat einen Baubereich fest, in dem ein Neubau von immerhin 260 m2 mit maximal drei Vollgeschossen, einem Attikageschoss und einem Untergeschoss errichtet werden darf. Dem Beschwerdeführer wird damit nicht nur die Nutzung der Liegenschaft im bisherigen Umfang (Villa Sihlberg), sondern sogar ein Neubau im nördlichen Teil der Parkanlage ermöglicht, und zwar auf Kosten der bestehenden Allee. Dies stellt einen erheblichen Eingriff in die schutzwürdige Gartenanlage dar (so zutreffend das Verwaltungsgericht, E. 2.2.2.1 des angefochtenen Entscheids), wird doch der Verbindungsweg zwischen der Villa und dem ehemaligen Fabrikgelände geopfert, der im gartendenkmalpflegerischen Gutachten (Ziff. 3.3 S. 17) als ausserordentlich wichtig und für Zürich einzigartig beurteilt wurde. Der Stadtrat hat damit den privaten Interessen des Beschwerdeführers und dem Verhältnismässigkeitsprinzip genügend Rechnung getragen.
7. Schliesslich rügt der Beschwerdeführer eine Verletzung der Rechtsgleichheit, weil die Stadt andere, weit grössere Neubauprojekte in der Umgebung von Schutzobjekten bewilligt habe, beispielsweise beim Hotel Dolder und der Villa Rosenau. In diesem Zusammenhang rügt der Beschwerdeführer eine Verletzung der Begründungspflicht durch das Verwaltungsgericht.
Das Verwaltungsgericht (in E. 2.2.2.7 S. 12 des angefochtenen Entscheids) hielt die Verhältnisse bei den Liegenschaften Hotel Dolder und Villa Rosenau für offenkundig nicht vergleichbar. Damit schloss es sich den Ausführungen der Stadt Zürich in ihrer Vernehmlassung an (Ziff. 36.1 und 36.2 S. 39 f.), in denen die Unterschiede zwischen den genannten Liegenschaften und derjenigen des Beschwerdeführers aufgezeigt wurden. Es liegt daher keine Verletzung der Begründungspflicht vor.
Auch eine Verletzung des allgemeinen Gleichbehandlungsgebots (<ref-law>) ist nicht ersichtlich: Wie das Verwaltungsgericht in anderem Zusammenhang (E. 2.2.1 in fine) ausgeführt hat, ist der Ort der Anlage einzigartig, weshalb ein Vergleich mit anderen Villengärten unbehelflich ist. Die Frage, welches Neubauvolumen mit der Villa und der dazugehörigen Parkanlage verträglich ist, kann daher nur aufgrund der konkreten Umstände des Einzelfalls, und nicht unter Bezugnahme auf andere Neubauten in der Umgebung anderer Schutzobjekte, beantwortet werden.
8. Zur Begründung der weiteren Rügen im Zusammenhang mit dem Subeventualantrag (betreffend unterirdische Bauten, Abgrabungen, Aufbauten, etc.) verweist der Beschwerdeführer einzig auf seine Beschwerdeschrift ans Verwaltungsgericht. Er setzt sich mit den diesbezüglichen Erwägungen der Vorinstanz nicht auseinander und zeigt nicht auf, inwiefern diese verfassungsmässige Rechte verletzen. Auf die Beschwerde kann daher in diesem Punkt nicht eingetreten werden (Art. 106 Abs. 2, Art. 42 Abs. 2 BGG).
9. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Die Stadt Zürich hat als obsiegende Behörde keinen Anspruch auf eine Parteientschädigung (<ref-law>). Gleiches gilt für die Zürcherische Vereinigung für Heimatschutz, die sich am bundesgerichtlichen Verfahren nicht beteiligt hat.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien, dem Stadtrat von Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 11. Februar 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Fonjallaz Gerber