Sachverhalt:
A.
Am 4. November 2009 stellte der Stadtrat von Zürich die Stallscheune (Assek.-Nr. 121) auf den Grundstück Kat.-Nr. WI3832 am Trichtenhausenfussweg 3 in Zürich-Witikon samt seiner Umgebung unter Denkmalschutz und bestimmte den Schutzumfang.
B.
Dagegen erhoben die damaligen Eigentümer, die Erben Y.-Z._, am 16. Dezember 2009 Rekurs an die Baurekurskommission I des Kantons Zürich und beantragten, die Sache zur Beurteilung des Schutzumfangs an den Stadtrat zurückzuweisen, sodass der Einbau von Wohn- und/oder Gewerberaum im Ausmass von 2'000 m3, eventuell von 1'000 m3, möglich sei. Eventualiter sei festzustellen, dass die verfügten Schutzanordnungen die allgemeine Pflicht des Grundeigentümers, sein Grundstück zu unterhalten, in unzumutbarer Weise übersteigen und die Stadt verpflichtet sei, sich mit einem einmaligen Sanierungsbetrag von Fr. 50'000.-- und jährlichen Beiträgen von Fr. 20'000.-- an den Kosten des Unterhalts des Schutzobjekts zu beteiligen.
Die Rekurskommission hiess den Rekurs am 1. Oktober 2010 teilweise gut, hob den Beschluss des Stadtrats auf und wies die Sache zu weiterer Behandlung an den Stadtrat zurück. Sie ging davon aus, dass der Eigentümerschaft zumindest eine beschränkte Umnutzung des Gebäudes unter Erhalt der wichtigen Zeugenelemente zu ermöglichen sei.
C.
Dagegen erhob der Stadtrat von Zürich am 3. November 2010 Beschwerde beim Verwaltungsgericht des Kantons Zürich.
Am 2. November 2010 veräusserten die Erben Y.-Z._ das Grundstück mit der Stallscheune und einer Fläche von 1'150 m2 an X._. Dieser trat an Stelle der bisherigen Eigentümer in den Prozess ein.
Am 29. Juni 2011 hiess das Verwaltungsgericht die Beschwerde gut, soweit es darauf eintrat. Es hob den Entscheid der Baurekurskommission vom 1. Oktober 2010 auf und stellte den Beschluss des Stadtrats vom 4. November 2009 wieder her.
D.
Gegen den verwaltungsgerichtlichen Entscheid hat X._ am 14. September 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben und die Sache zur Neubeurteilung des Schutzumfangs des Gebäudes Assek.-Nr. 121 (Scheune) am Trichtenhausenfussweg 3 in Zürich-Witikon an das Verwaltungsgericht, eventuell den Stadtrat, zurückzuweisen.
E.
Auf Antrag der Parteien wurde das Verfahren sistiert, um Gespräche über eine gütliche Einigung zu führen. Am 11. September 2013 wurde das Verfahren wieder aufgenommen.
F.
Die Stadt Zürich schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei.
In seiner Replik vom 15. November 2013 hält der Beschwerdeführer an seinen Anträgen fest.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Der Beschwerdeführer ist als Eigentümer der unter Schutz gestellten Stallscheune zur Beschwerde legitimiert (<ref-law>). Auf die rechtzeitig erhobene Beschwerde (<ref-law>) ist daher einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Es ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG).
2.
Der Beschwerdeführer anerkennt grundsätzlich das öffentliche Interesse an der Erhaltung der streitigen Stallscheune. Er ist jedoch der Auffassung, dass es genügen würde, die Baute mit ihren wesentlichen Merkmalen zu erhalten; nicht notwendig und unverhältnismässig sei ihre integrale Erhaltung als Kaltraum. Seines Erachtens wäre eine zurückhaltende Umnutzung der Stallscheune möglich, ohne die wichtigen Zeugenelemente und den Wert der Baute für das Ortsbild zu beeinträchtigen. Das Verwaltungsgericht habe sich mit seinen diesbezüglichen Vorbringen nicht auseinandergesetzt und damit nicht nur das Verhältnismässigkeitsprinzip, sondern auch das rechtliche Gehör verletzt.
2.1. Das Verwaltungsgericht ging davon aus, dass der zuständigen kommunalen Behörde bei der Frage, ob und inwieweit eine Baute denkmalpflegerischen Schutz verdiene, ein Beurteilungsspielraum zustehe, der von den Gerichten grundsätzlich zu respektieren sei. Vorliegend habe sich der Stadtrat Zürich für die integrale Erhaltung der Stallscheune entschieden. Dieses Schutzziel sei aufgrund des hohen Eigenwerts der Stallscheune grundsätzlich gerechtfertigt: Das grossvolumige, äusserlich wie auch im Innern weitgehend unveränderte und gut erhaltene Gebäude repräsentiere geradezu modellhaft den Scheunenbau des frühen 20. Jahrhunderts (vgl. dazu Gutachten des Amts für Städtebau, Archäologie und Denkmalpflege vom 1. September 2008). Jeder Ausbau der Stallscheune für Gewerbe- und Wohnnutzung wäre mit einer Öffnung von Fassaden und Dachflächen für die Belichtung, einer Umwandlung des Kaltraums in einen Warmraum und der Auffüllung des grossen offenen Innenraums verbunden und würde daher dem Schutzziel widersprechen. Das Verwaltungsgericht erachtete eine Beschränkung des Schutzziels in dem vom Beschwerdeführer beantragten Sinne (beschränkte Umnutzung des Gebäudes unter Erhalt der wichtigen Zeugenelemente) auch aus Gründen der Verhältnismässigkeit nicht für geboten.
2.2. Aufgrund des Gutachtens des Amts für Städtebau, dessen Schlussfolgerungen vom Beschwerdeführer nicht substanziiert bestritten werden, ist davon auszugehen, dass die Stallscheune einen wichtigen und seltenen Zeuge für den Scheunenbau des frühen 20. Jahrhunderts darstellt: Von den 18 noch erhaltenen freistehenden Stallscheunen des 20. Jahrhunderts auf Stadtzürcher Gebiet gehört die streitige Scheune zu den intaktesten und aussagekräftigsten Beispielen; nach der unbestrittenen Feststellung der Vorinstanzen gibt es lediglich zwei weitere Scheunen, die von ihrem Volumen und ihrer ortsprägenden Wirkung her mit derjenigen in Witikon vergleichbar sind. Bemerkenswert sind dabei nicht nur ihre Grösse und Lage, sondern auch ihr konstruktiver Aufbau, ihre innere Organisation und Ausstattung. In dieser Situation war die zuständige Behörde, d.h. der Stadtrat Zürich, grundsätzlich berechtigt, die vollständige Erhaltung der geschützten Baute anzuordnen, ohne Veränderungen an der Aussenhülle oder im Innenraum.
Der Beschwerdeführer macht zwar geltend, dass in geschützten Nachbarbauten grosszügige Fassadenöffnungen zugelassen worden seien; er belegt jedoch nicht, dass diese aus Sicht des Denkmalschutzes ebenso wertvoll waren wie das vorliegend streitige Objekt. Schon aus diesem Grund kann er aus dem Grundsatz der Gleichbehandlung (<ref-law>) keinen Anspruch ableiten.
2.3. Näher zu prüfen ist allerdings, ob die dem Eigentümer auferlegte Verpflichtung zur integralen Erhaltung der Stallscheune als Kaltraum einen unverhältnismässigen Eingriff in die Eigentumsgarantie (Art. 26 i.V.m. <ref-law>) darstellt, wie der Beschwerdeführer geltend macht (unten E. 3). Sollte dies zutreffen, müssten weniger einschneidende Massnahmen geprüft werden, wie namentlich die vom Beschwerdeführer vorgeschlagene beschränkte Umnutzung der Stallscheune zu Wohnzwecken unter Erhaltung wichtiger Zeugenelemente. Ist die Schutzmassnahme dagegen mit der Eigentumsgarantie vereinbar, so ist die Stadt Zürich nicht verpflichtet, sich mit einer weniger weitgehenden Schutzmassnahme zu begnügen. In diesem Fall durfte auch das Verwaltungsgericht darauf verzichten, sich mit den Ausbauvorschlägen und -skizzen des Beschwerdeführers auseinanderzusetzen, ohne das rechtliche Gehör zu verletzen.
3.
Die Vorinstanzen bejahten die Verhältnismässigkeit im engeren Sinne, d.h. die Zumutbarkeit, der integralen Erhaltung der Stallscheune als Kaltraum, weil das Objekt nach der geltenden Bau- und Zonenordnung in der Freihaltezone liege. In dieser Zone dürften nur solche oberirdischen Bauten und Anlagen erstellt werden, die der Bewirtschaftung oder unmittelbaren Bewerbung der Freiflächen dienen und den Zonenzweck nicht schmälern (§ 62 Abs. 1 i.V.m. § 40 Abs. 1 PBG); für alle anderen Bauten und Anlagen werde auf Art. 24 RPG verwiesen. Dürfe somit gemäss geltender Bau- und Zonenordnung in der Scheune weder eine Wohn- noch eine landwirtschaftsfremde Gewerbenutzung eingerichtet werden, ergebe sich aus der Schutzmassnahme insoweit keine stärkere Eigentumsbeschränkung. Das Verwaltungsgericht verwies ergänzend auf § 207 Abs. 2 PBG, wonach die Stadt Zürich die von ihr angeordnete Unterhaltsverpflichtung übernehmen müsse, sofern diese die allgemeine Unterhaltspflicht des Eigentümers in unzumutbarer Weise übersteige.
3.1. Der Beschwerdeführer macht dagegen geltend, dass eine beschränkte Wohn- oder Gewerbenutzung in der Stallscheune mit § 358a PBG i.V.m. Art. 24d Abs. 2 RPG vereinbar sei, der sogar eine vollständige Zweckänderung zulassen würde.
Dem hält das Verwaltungsgericht entgegen, dass Art. 24d Abs. 2 RPG den Schutzwert einer Baute sichern solle und nicht dazu dienen dürfe, das Schutzziel zu schmälern. Diese Bestimmung dürfe daher nicht dazu führen, dass von einem im öffentlichen Interesse erkannten Schutzziel abgewichen werde, mit dem Argument, die Einschränkungen des Privaten seien in Abwägung mit der gemäss Art. 24d Abs. 2 RPG zulässigen vollständigen Zweckänderung unverhältnismässig.
3.2. Gemäss Art. 24d Abs. 2 RPG kann die vollständige Zweckänderung von als schützenswert anerkannten Bauten und Anlagen zugelassen werden, wenn diese von der zuständigen Behörde unter Schutz gestellt worden sind (lit. a) und ihre dauernde Erhaltung nicht anders sichergestellt werden kann (lit. b). Diese in erster Linie auf die Tessiner "Rustici" zugeschnittene Bestimmung will verhindern, dass Bauten, die entscheidend zur Prägung der Landschaft beitragen oder aus denkmalpflegerischer oder kulturhistorischer Sicht besonders wertvoll sind, zerfallen oder abgebrochen werden (Botschaft des Bundesrates zu einer Teilrevision des RPG vom 22. Mai 1996, BBl 1996 III S. 513 ff., insbes. S. 542).
3.2.1. Voraussetzung ist zunächst, dass die Baute unter Schutz gestellt worden ist (lit. a). Stünde die Scheune nicht unter Denkmalschutz, wäre Art. 24d Abs. 2 RPG also von vornherein nicht anwendbar. Ein Ausbau der freistehenden Stallscheune zu Wohnzwecken wäre auch nach Art. 24c Abs. 3 RPG nicht möglich, weil es sich nicht um eine landwirtschaftliche Wohnbaute oder eine angebaute Ökonomiebaute handelt. Insofern bedeutet die Unterschutzstellung keine Einschränkung der Nutzungsmöglichkeiten des Beschwerdeführers im Vergleich zur bestehenden Zonierung.
3.2.2. Die Erteilung einer Umnutzungsbewilligung nach Art. 24d Abs. 2 RPG setzt weiter voraus, dass die dauernde Erhaltung der geschützten Bausubstanz einzig durch eine Umnutzung sichergestellt werden kann (lit. b; vgl. dazu Botschaft, a.a.O. S. 542).
Der Beschwerdeführer ist der Auffassung, eine beschränkte Umnutzung müsse bewilligt werden, weil er ansonsten die Unterhaltskosten für die geschützte Baute nicht finanzieren könnte.
Das Verwaltungsgericht hielt es für möglich (wenn auch nicht für nachgewiesen), dass die Unterhaltskosten durch die weiterhin möglichen Nutzungen der Scheune nicht gedeckt werden könnten. Es legte aber überzeugend dar, dass § 207 Abs. 2 PBG für diesen Fall eine besondere Regelung vorsehe: Übersteigen die Unterhaltskosten für ein Schutzobjekt das dem Eigentümer zumutbare Mass, so ist das Gemeinwesen, das die Schutzmassnahme angeordnet hat, zur Übernahme der Kosten verpflichtet. Diese Regelung stellt sicher, dass die Unterschutzstellung keine unzumutbaren finanziellen Verpflichtungen für den Eigentümer nach sich zieht und damit verhältnismässig ist. Kann die geschützte Bausubstanz auf diese Weise erhalten werden, liegt die Voraussetzung für eine Umnutzung gemäss Art. 24d Abs. 2 lit. b RPG nicht vor.
4.
Streitig ist allerdings, ob die Voraussetzungen gemäss § 207 Abs. 2 PBG vorliegen und, wenn ja, in welcher Höhe die Stadt Zürich zum Unterhalt der Stallscheune beitragen muss.
Die Rechtsvorgänger des Beschwerdeführers hatten in ihrem Rekurs vom 16. Dezember 2009 eventualiter einen einmaligen Sanierungsbetrag von Fr. 50'000.-- und jährliche Beträge von Fr. 20'000.-- beantragt. Die Stadt Zürich hat dem Beschwerdeführer einen Betrag von Fr. 145'000.-- der Denkmalpflege zugesichert, dagegen kam keine Einigung über jährliche Beitragszahlungen zustande.
4.1. Das Verwaltungsgericht ging davon aus, dass diese Frage nicht Gegenstand der erstinstanzlichen Verfügung gewesen sei und auch nicht hätte sein sollen, weshalb sie nicht Prozessthema sei.
Dem widerspricht der Beschwerdeführer: Der Beitrag der Stadt zu den Unterhaltskosten gemäss § 207 Abs. 2 PBG müsse bereits im Verfahren der Unterschutzstellung festgesetzt werden. Würde sich nämlich ergeben, dass selbst unter Berücksichtigung einer Unterhaltsverpflichtung der Stadt Zürich mit der Stallscheune nicht nur keine Rendite erzielbar sei, sondern ihm erhebliche ungedeckte Unterhaltskosten verblieben, so wäre die integrale Unterschutzstellung - entgegen der Auffassung des Verwaltungsgerichts - letztlich doch unzumutbar und damit unverhältnismässig.
4.2. Dem Beschwerdeführer ist einzuräumen, dass die Frage des Schutzumfangs und der Beitragszahlungen der Stadt einen engen Zusammenhang aufweisen und es sinnvoll sein kann, in einer Verfügung über beide Fragen zu entscheiden. Vorliegend ist dies jedoch nicht geschehen: In der Verfügung vom 4. November 2009 äusserte sich der Stadtrat einzig zur Unterschutzstellung und nicht zu allfälligen Unterhaltsbeiträgen der Stadt. Mehr war auch von den Rechtsvorgängern der Beschwerdeführer nicht beantragt worden (diese hatten den Erlass eines formellen Entscheids über Schutzwürdigkeit und Schutzumfang für die Stallscheune verlangt.
4.3. Zu prüfen ist daher, ob die Stadt verpflichtet gewesen wäre, auch ohne Antrag, von Amtes wegen, in der Unterschutzstellungsverfügung über allfällige Beitragsansprüche nach § 207 Abs. 2 PBG zu entscheiden.
Eine Koordination von zwei Entscheidverfahren ist insbesondere dann erforderlich, wenn in beiden Verfahren eine umfassende Interessenabwägung erforderlich ist, die nicht getrennt vorgenommen werden könnte. § 207 Abs. 2 PBG ist aber weder als Kann-Bestimmung formuliert noch wird eine umfassende Interessenabwägung verlangt; die Übernahme der Betreuung durch das anordnende Gemeinwesen ist vielmehr zwingend vorgesehen, wenn eine Schutzanordnung in unzumutbarer Weise die allgemeine Pflicht des Eigentümers, sein Grundstück zu unterhalten, übersteigt. Damit ist von Gesetzes wegen - zumindest dem Grundsatz nach - sichergestellt, dass Schutzanordnungen nicht zu unzumutbaren finanziellen Verpflichtungen für den Eigentümer führen. Unter diesen Umständen erscheint es zumindest nicht bundesrechtswidrig, die Konkretisierung dieses Grundsatzes einem zeitlich nachgeschalteten Verfahren vorzubehalten.
Dafür spricht auch die Überlegung, dass es grundsätzlich Sache des Eigentümers ist, sich um die Nutzung seiner Baute zu kümmern, die Unterhaltskosten abzuschätzen und zu beurteilen, ob eine für ihn unzumutbare Differenz verbleibt. Die Behörden können daher allfällige Beiträge nur gestützt auf konkrete Anträge und detaillierte Belege des Eigentümers festlegen. Fehlen solche Angaben im Zeitpunkt der Unterschutzstellung (wie im vorliegenden Fall), ist es nicht Sache der anordnenden Behörde, sie von Amtes wegen einzuholen.
4.4. Der Beschwerdeführer wird somit gegebenenfalls ein neues Verfahren beim Stadtrat einleiten müssen. Werden seine Anträge auf jährliche Beitragszahlungen zur Gewährleistung der Zumutbarkeit ganz oder teilweise abgelehnt, steht dagegen der Rechtsweg offen.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>) und hat keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es werden keine Parteientschädigungen zugesprochen.
4.
Dieses Urteil wird dem Beschwerdeführer, dem Stadtrat Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 9. Januar 2014
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber