Sachverhalt:
A.
Am 11. Dezember 2013 beschloss der Stadtrat von Zürich, die Villa mit Nebengebäuden und Garten an der Zollikerstrasse 229, 229 a-c, Zürich-Riesbach, aus dem Inventar der kunst- und kulturhistorischen Schutzobjekte von kommunaler Bedeutung sowie dem Inventar der schützenswerten Gärten und Anlagen von kommunaler Bedeutung zu entlassen und verzichtete damit zugleich darauf, das Ensemble unter Denkmalschutz zu stellen.
B.
Hiergegen rekurrierte der Zürcher Heimatschutz (ZVH) beim Baurekursgericht des Kantons Zürich, welches das Rechtsmittel mit Entscheid vom 9. September 2014 abwies.
C.
Am 13. Oktober 2014 erhob der ZVH Beschwerde beim Zürcher Verwaltungsgericht und beantragte, das vorinstanzliche Urteil unter Entschädigungsfolgen aufzuheben und die Villa samt Nebengebäuden und Garten in angemessenem Umfang definitiv unter Schutz zu stellen. Das Verwaltungsgericht wies die Beschwerde am 9. Juli 2015 ab.
D.
Dagegen hat der ZVH am 17. September 2015 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben.
E.
Die im Rubrum genannten privaten Beschwerdegegner beantragen, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Der Stadtrat Zürich und das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
F.
Mit Verfügung vom 8. Oktober 2015 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts, der den Denkmalschutz für eine Villa mit Garten und Nebengebäuden und damit eine öffentlich-rechtliche Angelegenheit betrifft, steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>). Näher zu prüfen ist die - von den Beschwerdegegnern bestrittene - Beschwerdelegitimation des ZVH.
1.1. Dieser ist als kantonal (und nicht gesamtschweizerisch) tätige Heimatschutzorganisation nicht nach Art. 12 Abs. 1 lit. b des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) i.V.m. <ref-law> zur Beschwerde legitimiert. Das Verbandsbeschwerderecht gemäss § 338a Abs. 2 des Zürcher Planungs- und Baugesetzes vom 7. September 1975 (PBG) gilt nur für die kantonale Ebene, nicht aber vor Bundesgericht.
1.2. Zu prüfen ist daher seine Beschwerdebefugnis nach <ref-law>. Danach ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (<ref-law>). Verlangt wird somit neben der formellen Beschwer (lit. a), dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (lit. b) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (lit. c).
Der ZVH macht selbst nicht geltend, dass er oder die Mehrzahl seiner Mitglieder eine enge (insbes. räumliche) Beziehung zu den vom Abbruch bedrohten Bauten hätten. Der statutarische Zweck des Beschwerdeführers, sich für die Belange des Heimatschutzes im Kanton Zürich einzusetzen, genügt nicht, um die Beschwerdebefugnis nach <ref-law> zu begründen.
Das Bundesgericht hat bereits mehrfach entschieden, dass eine Heimatschutz-Vereinigung, der auf kantonaler Ebene ein Verbandsbeschwerderecht zusteht, vor Bundesgericht lediglich (aber immerhin) geltend machen können, im kantonalen Verfahren in ihren Parteirechten verletzt worden zu sein (vgl. Urteile 1C_195/2011 vom 27. Juli 2011 E. 1.2; 1C_367/2009 vom 27. Oktober 2009 E. 3; 1C_374/2010 vom 21. Dezember 2010 E. 1). Dagegen können sie auf diesem Weg keine (indirekte) Überprüfung des Entscheids in der Hauptsache erlangen. Nicht einzutreten ist daher auf formelle Rügen, deren Beurteilung von der Prüfung in der Sache selbst nicht getrennt werden können, wie namentlich die Rüge, die Begründung des Verwaltungsgerichts sei unvollständig, zu wenig differenziert oder materiell unzutreffend (<ref-ruling> E. 1.4 S. 222 mit Hinweisen).
Genau dies ist vorliegend der Fall: Der ZVH macht im Wesentlichen geltend, die Begründungsdichte des Verwaltungsgerichts zu verschiedenen Punkten (Grad der Schutzwürdigkeit/Situationswert des Ensembles; Teil-Unterschutzstellung als mildere Alternative; Vergleichsobjekte; finanzielle Folgen einer Unterschutzstellung) sei zu gering. Zu all diesen Fragen enthält der angefochtene Entscheid Erwägungen und damit eine - wenn auch zum Teil knappe - Begründung (vgl. zum Situationswert E. 2.2.5; zur Teil-Unterschutzstellung E. 3.3; zu den Vergleichsobjekten E. 3.4 und zu den finanziellen Konsequenzen E. 3.5). Ob diese Begründung ausreicht, lässt sich nicht ohne Blick auf die Sache beurteilen.
Nicht einzutreten ist (erst recht) auf die materiellen Rügen des ZVH, betreffend die Verletzung des Willkürverbots und die falsche Anwendung des bundesrechtlichen Enteignungsbegriffs.
2.
Nach dem Gesagten ist auf die Beschwerde nicht einzutreten. Bei diesem Ausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die privaten Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Stadtrat von Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 7. Dezember 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber