Sachverhalt:
A.
Mit Beschluss vom 4. Oktober 1957 bewilligte die Stadt Zürich C._ den Bau eines Einfamilienhauses auf Parzelle Nr. 2072 (heute: WI2316) an der G._strasse in Witikon. Der Bauherr wurde verpflichtet, das zum Bau der projektierten Quartierstrasse nötige Land abzutreten. Mit Abtretungsverträgen vom 11. Dezember 1957 traten C._ und H._ der Stadt Zürich deshalb ca. 230 m2 Land (gemäss vorläufiger Flächenermittlung) zum Teilausbau der G._strasse ab. Die Verträge wurden 1959 vollzogen, mit Abtretungen von insgesamt 241 m2 (181,8 m2 ab Parzelle Nr. 2072 [heute WI2316] und 59.2 m2 ab Parzelle Nr. 2071 [heute WI3289]). Das abgetretene Land wurde der öffentlichen G._strasse zugewiesen.
B.
Aufgrund von mehreren, im Jahr 2011 eingereichten Baugesuchen im Gebiet G._ leitete der Stadtrat Zürich am 4. Juli 2012 das amtliche Quartierplanverfahren ein. Dieses bezweckt vor allem den normaliengerechten Ausbau der G._strasse. Im hier interessierenden südlichen Teil soll sie von heute 4-5 m auf durchgängig 5 m (zuzüglich 0.3 m Bankett) ausgebaut werden, mit einem 2 m breiten Trottoir ostseitig der G._strasse.
Mit Begehren vom 5. Oktober 2016 beantragten C._ (Parzelle WI2316) sowie B._ und A._ (Eigentümerin und Eigentümer der Parzelle WI3289 infolge Erbvorbezugs) die Rückübertragung der abgetretenen Flächen, da diese für den Ausbau der G._strasse nicht benötigt würden. Mit Schreiben vom 19. Dezember 2017 teilte die Stadt Zürich mit, die angemeldeten Ansprüche seien gerechtfertigt und würden im Rahmen der Landabrechnung zum Quartierplan vollzogen; dadurch verändere sich der Kostenteiler hinsichtlich Neuzuteilungen. Der Verein D._, Eigentümer des ebenfalls zum Quartierplangebiet gehörenden Grundstücks WI3988, widersetzte sich diesem Vorgehen.
Mit Beschluss vom 4. Juli 2018 setzte der Stadtrat Zürich den amtlichen Quartierplan Nr. 493 G._ fest. In den Quartierplanbestimmungen wird festgehalten, das an die Strassenparzelle G._strasse abgetretene Land werde den Grundstücken WI2316 (C._, 182 m2) und WI3289 (B._ und A._, 59 m2) rückübertragen, gegen Rückzahlung von 60 Fr./m2 an die Stadt Zürich.
Die Baudirektion des Kantons Zürich genehmigte den Quartierplan am 15. Oktober 2018.
C.
Am 5. Dezember 2018 reichte der Verein D._ beim Baurekursgericht Rekurs gegen die Festsetzung und die Genehmigung des Quartierplans ein. Das Baurekursgericht bezog E._ und F._ als Mitbeteiligte in das Verfahren ein. Mit Entscheid vom 26. April 2019 hiess es den Rekurs gut.
D.
Dagegen erhoben A._, B._ und C._ am 28. Mai 2019 Beschwerde an das Verwaltungsgericht des Kantons Zürich. Dieses wies die Beschwerde am 9. Juli 2020 ab. Zur Klarstellung des Dispositivs des Rekursentscheids nahm es folgende Anordnung ins Dispositiv auf:
Der Stadtratsbeschluss vom 4. Juli 2018 und die Genehmigungsverfügung der Baudirektion vom 15. Oktober 2018 sind aufgehoben, soweit sie die Rückübertragung von Land der öffentlichen G._strasse (Kat.-Nr. WI3192) an die Grundstücke Kat.-Nr. WI2316 und WI3289 der Beschwerdeführenden vorsehen. Der Mitbeteiligte 1 [Stadtrat Zürich] ist angewiesen, die betreffenden Flächen rechnerisch als aufzuhebende öffentliche Strasse ohne Begründung eines Anspruchs auf Neuzuteilung eines Baugrundstücks der Quartierplanmasse zuzuteilen und die Landabtretungen, die Mehr- und Minderzuteilungen sowie den Kostenverteiler des Quartierplans anzupassen. Die Sache wird zum neuen Entscheid im Sinn der Erwägungen an den Mitbeteiligten 1 zurückgewiesen.
E.
Dagegen haben A._, B._ und C._ am 14. September 2020 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid des Verwaltungsgerichts und der Rekursentscheid seien aufzuheben. Der Stadtratsbeschluss vom 4. Juli 2018 betreffend die Festsetzung des Quartierplans G._ und die Genehmigungsverfügung der Baudirektion vom 15. Oktober 2018 seien in allen Teilen zu bestätigen.
F.
Der Verein D._ (Beschwerdegegner) schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Baudirektion des Kantons Zürich hat auf eine Antragsstellung verzichtet. Der Stadtrat Zürich hat sich nicht vernehmen lassen.
E._ und F._ weisen darauf hin, dass sie im vorinstanzlichen Verfahren nicht Beschwerdegegner, sondern lediglich Mitbeteiligte gewesen seien und keinen Antrag zur Sache gestellt hätten.
G.
Mit Verfügung vom 13. Oktober 2020 wurde der Beschwerde aufschiebende Wirkung zuerkannt.
Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Entscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d BGG).
1.1. Das Verwaltungsgericht wies die Sache an den Stadtrat Zürich zurück. Es hielt jedoch selbst fest (in Bezug auf den von ihm bestätigten Entscheid des Baurekursgerichts, dass dem Stadtrat kein Entscheidungsspielraum mehr zustehe, sondern er nur noch das Angeordnete rechnerisch umzusetzen habe, d.h. er müsse die Abtretungen sowie die Mehr- und Minderzuteilungen entsprechend anpassen und den Kostenverteiler neu festlegen, ohne insoweit über einen Ermessensspielraum zu verfügen. Unter diesen Umständen ist prozessual von einem Endentscheid auszugehen (BGE 141 II 14 E. 1.1 mit Hinweis).
1.2. Die Beschwerdeführenden, deren Antrag auf Rückübertragung der abgetretenen Landflächen abgewiesen wurde, sind zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Auf die rechtzeitig erhobene Beschwerde (Art. 100 Abs. 1 BGG) ist daher grundsätzlich - vorbehältlich genügend begründeter Rügen - einzutreten.
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann in erster Linie die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG); die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (Art. 106 Abs. 2 BGG; Rügeprinzip); hierfür gelten qualifizierte Begründungsanforderungen (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen). Ob die Beschwerdeschrift diese Anforderungen erfüllt, ist im jeweiligen Zusammenhang zu prüfen.
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Auf das neue Vorbringen, die streitigen Flächen seien provisorisch (von 1988 bis 1990) für eine Altstoffsammelstelle verwendet worden, ist daher im Folgenden nicht einzugehen.
2.
Der angefochtene Entscheid stützt sich auf kantonales Recht, insbesondere das Zürcher Gesetz betreffend die Abtretung von Privatrechten vom 30. November 1879 (AbtrG; LS 781) und das Zürcher Planungs- und Baugesetz vom 7. September 1975 (PBG; LS 700.1).
2.1. Das AbtrG enthält folgende Regelung zur Rückforderung der Leistungen:
§ 58 AbtrG
1 Ein abgetretenes Recht kann gegen Rückerstattung der dafür erhaltenen Entschädigung von dem früheren Inhaber wieder zurückgefordert werden, wenn:
a. binnen zweier Jahre vom Tage der Abtretung an das öffentliche Werk, für welches die Abtretung stattfand, nicht unternommen oder das betreffende Recht nicht zu dem bei der Abtretung angegebenen Zwecke benutzt wurde, ohne dass sich hinreichende Gründe hiefür anführen lassen, oder
b. das abgetretene Recht zu einem andern Zwecke als dem bei der Expropriation bezeichneten benutzt werden will.
(...)
§ 61 AbtrG
Streitigkeiten über die Anwendung der §§ 58-60 sind vom Verwaltungsgericht zu entscheiden.
2.2. Das Quartierplanverfahren wird im 4. Abschnitt (§§ 123 ff.) des PBG geregelt. Der Quartierplan ermöglicht im erfassten Gebiet eine der planungs- und baurechtlichen Ordnung entsprechende Nutzung und enthält die dafür nötigen Anordnungen (§ 123 Abs. 1 PBG); als wesentliches Mittel hierzu ist die Landumlegung vorgesehen (§ 126, 138 ff. PBG). Ist das Verfahren rechtskräftig eingeleitet, dürfen an den Grundstücken des Beizugsgebiets ohne Bewilligung des Gemeindevorstands weder tatsächliche noch rechtliche Änderungen vorgenommen werden (Quartierplanbann, § 150 PBG). In Bezug auf öffentliche Strassen ist Folgendes vorgesehen:
§ 138 PBG Quartierplanmasse und Abzüge
1 In die Masse der beteiligten Grundstücke sind die Flächen aufzuhebender öffentlicher Strassen, Wege und Gewässer sowie Flur- und Genossenschaftswege einzubeziehen.
(...)
§ 139 PBG Grundsatz
1 Die nach den Abzügen verbleibende Gesamtfläche ist so zuzuteilen, dass die Grundeigentümer nach Möglichkeit geeignete Parzellen in gleichwertiger Lage und im Verhältnis zur Fläche ihres Altbestands unter Berücksichtigung der Wertunterschiede erhalten (...)
2 (...)
3 Für die Flächen aufzuhebender öffentlicher Strassen und Gewässer besteht ein Anspruch auf Zuteilung eines Baugrundstücks nur soweit, als diese Flächen nicht für entsprechende neue Anlagen benötigt werden.
4 (...)
2.3. Die Auslegung und Anwendung von kantonalem Recht prüft das Bundesgericht grundsätzlich nur unter dem Blickwinkel des Willkürverbots (Art. 9 BV). Willkür bei der Rechtsanwendung liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht weicht vom Entscheid der kantonalen Instanz nur ab, wenn dieser offensichtlich unhaltbar ist, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 136 I 316 E. 2.2.2 S. 318 f. mit Hinweisen).
3.
Die Beschwerdeführenden machen zunächst geltend, das Baurekursgericht sei unzuständig gewesen und hätte auf den Rekurs nicht eintreten dürfen, weil über die Rückübertragung eines abgetretenen Rechts nach § 61 AbtrG im Klageverfahren vor Verwaltungsgericht zu entscheiden sei. Die Vorinstanzen hätten sich ohne nachvollziehbare Begründung über diese klare Zuständigkeitsregelung hinweggesetzt. Materiellrechtlich richte sich der Rückforderungsanspruch ausschliesslich nach § 58 AbtrG; für die Anwendung des Quartierplanrechts bestehe kein Raum.
3.1. Das Verwaltungsgericht hat ausführlich begründet, es gehe vorliegend um eine quartierplanrechtliche Streitigkeit, in deren Rahmen sich die enteignungsrechtliche Frage nach der Rückforderung des Eigentums an Landflächen stelle. Die aufgeworfenen Fragen seien so eng miteinander verflochten, dass ihre Behandlung in verschiedenen Verfahren nicht praktikabel sei. Nach der Zürcher Rechtsmittelordnung komme das Klageverfahren nur in Fällen zur Anwendung, in denen das Anfechtungsverfahren nicht möglich sei oder zu keinem befriedigenden Resultat führe. Vorliegend könne der Rechtsschutz einheitlich im Anfechtungsverfahren vor dem Baurekursgericht geleistet werden; das Verwaltungsgericht könne mit Beschwerde gegen den Entscheid des Baurekursgerichts angerufen werden, wobei die abtretungsrechtlichen Fragen frei zu prüfen seien. Es handle sich um eine zulässige Kompetenzattraktion.
Diese Ausführungen lassen keine Willkür erkennen: Die Beschwerdeführenden haben ihre Forderung nach Rückübertragung von Landflächen selbst im Rahmen des Quartierplanverfahrens vorgebracht, als Begehren im Sinn von § 155 PBG. Der Stadtrat von Zürich hat dieses Begehren in den Bestimmungen des Quartierplans berücksichtigt, in dem die streitigen Flächen - abweichend vom Grundbucheintrag und trotz des Quartierplanbanns - bei der Ermittlung des Altbestands als privates Bauland und nicht als öffentliches Strassenland qualifiziert wurden. Dies hatte zur Folge, dass sich die quartierplanlichen Zuteilungs- und Ausgleichsansprüche zugunsten der Beschwerdeführenden und zulasten der übrigen Eigentümer und Eigentümerinnen veränderten: Allein für den Beschwerdegegner führte dies zu einer Mehrbelastung von Fr. 72'150.--. Es ist daher nachvollziehbar und jedenfalls nicht willkürlich, wenn diesem die Möglichkeit der Anfechtung der für ihn nachteiligen Quartierplanfestsetzung beim Baurekursgericht eröffnet wurde. Diese spezielle Konstellation ist in § 61 AbtrG nicht geregelt, weshalb kein Abweichen von einer klaren und eindeutigen Zuständigkeitsregel vorliegt.
4.
Die Beschwerdeführenden rügen ferner s chwere formelle Mängel des Rekursentscheids: Dessen Dispositiv habe sich auf die Gutheissung des Rekurses beschränkt, ohne einen reformatorischen oder kassatorischen Entscheid zu fällen. Das Verwaltungsgericht hätte den Entscheid des Baurekursgerichts schon aus diesem Grund aufheben müssen; die von ihm, unter Rückgriff auf die Erwägungen des Baurekursgerichts vorgenommene "Klarstellung" sei unzulässig, weil nur das Dispositiv in Rechtskraft erwachse und nicht die Erwägungen (soweit das Dispositiv nicht auf sie verweise).
Anfechtungsgegenstand vor Bundesgericht ist nicht der Entscheid des Baurekursgerichts, sondern derjenige des Verwaltungsgerichts. Dieses hat sich nicht damit begnügt, die Beschwerde abzuweisen, sondern hat im Dispositiv klar festgehalten, welche Teile des Stadtratsbeschlusses und der Genehmigungsverfügung aufgehoben werden und mit welchem Inhalt der Quartierplan neu festzusetzen sei (Disp.-Ziff. 1). Weshalb es dazu nicht befugt sei, wird weder genügend dargelegt noch ist dies ersichtlich. Die Ausführungen der Beschwerdeführenden zur Rechtskraft verkennen, dass der Entscheid des Baurekursgerichts an das Verwaltungsgericht weitergezogen wurde und daher nicht in Rechtskraft erwachsen ist. Im Übrigen ist es nach ständiger bundesgerichtlicher Rechtsprechung zulässig, für die Auslegung eines unklaren Dispositivs auf die Erwägungen zurückzugreifen, auch wenn nicht ausdrücklich auf sie verwiesen wird (vgl. z.B. BGE 144 III 368 E. 3.5 mit Hinweisen).
5.
Die Beschwerdeführenden machen weiter geltend, die Stadt Zürich habe den Rückforderungsanspruch mit Brief vom 19. Dezember 2017 ausdrücklich anerkannt. Die Quartierplangenossinnen und -genossen seien weder Gläubiger noch Schuldner des Rückerstattungsanspruchs und daher nicht legitimiert, sich hiergegen zur Wehr zu setzen. Im verwaltungsrechtlichen Klageverfahren gelte die Dispositionsmaxime, d.h. die Vorinstanz wäre an die Anerkennung der Stadt Zürich gebunden gewesen. Das Verwaltungsgericht hätte daher keine materielle Prüfung durchführen bzw. die Rekursbefugnis des Beschwerdegegners als nur mittelbar betroffenem Quartierplangenossen verneinen müssen.
5.1. Das Verwaltungsgericht ging - wie schon dargelegt (oben E. 3) - davon aus, dass vorliegend nicht das Klage-, sondern das Anfechtungsverfahren zur Anwendung komme und alle Personen mit Grundeigentum im Quartierplanperimeter befugt seien, sich gegen die für sie nachteiligen Festsetzungen des Quartierplans zur Wehr zu setzen. Zwar sei der Rückforderungsanspruch materiell nach § 58 AbtrG zu beurteilen; indessen sei zu berücksichtigen, dass dieser Anspruch im Quartierplanverfahren, als Begehren nach § 155 PBG, eingebracht worden sei, d.h. in einem Verfahren, in welchem der Stadtrat die Interessen aller Quartierplangenossen und -genossinnen gleich zu berücksichtigen und mit den öffentlichen Interessen in Einklang zu bringen habe. Das Verwaltungsgericht ging deshalb davon aus, dass der - vom Beschwerdegegner bestrittene - Rückforderungsanspruch der Beschwerdeführenden materiell zu prüfen sei, auch wenn er vom Stadtrat anerkannt worden war.
5.2. Dies lässt keine Willkür erkennen. Besorgt der Stadtrat als Quartierplanbehörde treuhänderisch die Quartierplanung für alle Eigentümer und Eigentümerinnen von Grundstücken im Quartierplanperimeter, so ist es nicht willkürlich anzunehmen, er dürfe nur materiell berechtigte Ansprüche anerkennen. Dies entspricht auch dem Grundgedanken des Quartierplanbanns (§ 150 PBG), der Veränderungen der rechtlichen Situation während des hängigen Quartierplanverfahrens ausschliesst.
Das Argument der Beschwerdeführenden, sie hätten vor Einleitung des Quartierplanverfahrens die Rückgabe verlangen können, ohne dass der Beschwerdegegner sich dagegen zur Wehr hätte setzen können, trifft zu, ist aber für die Beurteilung des vorliegenden Falls irrelevant, da die Beschwerdeführenden ihren Anspruch erst im Quartierplanverfahren geltend gemacht haben.
6.
In der Sache ist streitig, ob die Voraussetzungen von § 58 Abs. 1 lit. a (Nichtverwendung) oder lit. b AbtrG (Zweckentfremdung) erfüllt sind und, wenn ja, ob der Rückforderungsanspruch verjährt ist.
6.1. Die Beschwerdeführenden machten vor Verwaltungsgericht geltend, gemäss den Verträgen vom 11. Dezember 1957 seien die Abtretungen für einen "Teilausbau der G._strasse" erfolgt (Ziff. 1), wobei gemäss Ziff. 2 ein Ausbau bis auf 12 m vorgesehen gewesen sei (7 m Fahrbahn und 2 x 2.5 m Trottoir). Ziff. 4 bestimme, dass die Stadt die an den öffentlichen Grund fallende Abtretungsfläche zu Fahrbahn oder Trottoir ausbaue, wobei sie bezüglich des vorgesehenen und weiteren Ausbaus der G._strasse an keinen Zeitpunkt gebunden sei. Die abgetretenen Flächen seien nie für die Fahrbahn oder ein Trottoir verwendet worden, und würden auch künftig nicht mehr für diesen Zweck benötigt. Dies stehe erst seit Erlass des Quartierplans fest, weshalb der Rückforderungsanspruch erst in diesem Zeitpunkt entstanden und somit noch nicht verjährt sei.
6.2. Das Verwaltungsgericht hielt dem entgegen, die abgetretenen Flächen seien Bestandteil einer öffentlichen Strasse geworden und seien im Wesentlichen für Parkplätze und zu einem geringen Teil für ein Trottoir genutzt worden. Die Formulierung "zu Fahrbahn oder Trottoir" sei mit Blick auf das 1957 in Aussicht genommene Strassenprojekt gewählt worden. Gemäss den Verträgen hätte das genaue Ausmass der Abtretungsfläche erst nach Vollendung des Strassenausbaus durch das Vermessungsamt ermittelt und dann die Eigentumsübertragung erfolgen sollen (Ziff. 3). Die Parteien seien jedoch von dieser Reihenfolge abgewichen; in der Mutationsurkunde sei nur noch auf "den späteren Ausbau der G._strasse" verwiesen worden. Unter diesen Umständen könne nicht angenommen werden, dass ein Ausbau, der vom ursprünglichen Strassenprojekt abweiche, eine Nichtnutzung oder Zweckentfremdung des abgetretenen Rechts darstelle. Dasselbe lasse sich aus dem mit der Bewilligung des Einfamilienhauses verfügten Quartierplanvorbehalt ableiten.
Hilfsweise erwog das Verwaltungsgericht, dass der Rückforderungsanspruch verjährt wäre, wenn der bisherige Gebrauch der streitigen Fläche eine Nichtnutzung oder Zweckentfremdung im Sinn von § 58 AbtrG darstellen würde. Die Verjährungsfrist hätte spätestens zwei Jahre nach der Eigentumsübertragung zu laufen begonnen, so dass die Verjährung im Zeitpunkt der Rückforderung, nach fast sechzig Jahren, auf jeden Fall eingetreten wäre. Entgegen der Auffassung der Beschwerdeführenden sei die Verjährungseinrede des Beschwerdegegners beachtlich.
Soweit die Beschwerdeführenden schliesslich geltend machten, die Verjährungsfrist nach § 58 Abs. 1 lit. a AbtrG habe noch nicht zu laufen begonnen, weil eine allfällige Nichtnutzung sich auf hinreichende Gründe stützen könne, sei zweifelhaft, ob dieser Einwand nach fast 60 Jahren noch vorgebracht werden könne. Jedenfalls aber käme als hinreichender Grund nur der Aufschub des Quartierplanverfahrens infrage. Dann aber sei es widersprüchlich, den Einbezug des Lands in die Quartierplanmasse als Nichtnutzung oder Zweckentfremdung zu bezeichnen, und zwar unabhängig von seiner realen Verwendung - es genüge, wenn die Fläche - wie hier - rechnerisch benötigt werde. Im Übrigen würden auch 14 m2 real für das Trottoir der G._halde benötigt.
6.3. Die Beschwerdeführenden rügen eine willkürliche Auslegung von § 58 lit. b AbtrG, weil nur eine Verwendung von dauerndem Charakter die Rückforderung ausschliessen könne, nicht aber die vorliegende, nur provisorische Nutzung der abgetretenen Fläche, zunächst als Kiesplatz und später für öffentliche Parkplätze. Ohnehin habe keine dieser Nutzungen dem Abtretungszweck (Ausbau der G._strasse auf 12 m) entsprochen.
Völlig willkürlich und durch keinerlei Akten belegt sei die Argumentation, die Parteien hätten den Abtretungszweck nachträglich geändert. Anlässlich der Grundbuchanmeldung sei ausschliesslich auf den Beleg 1958 Nr. 54 und damit auf den Abtretungsvertrag vom 11. Dezember 1957 bzw. die öffentliche Beurkundung vom 13. März 1958 Bezug genommen worden. Der Strassenausbau sei lediglich auf einen Zeitpunkt nach der Landabtretung verschoben worden. Der Quartierplanrevers in der Baubewilligung vom 4. Oktober 1957 habe nur als Hinweis gedient, dass bei Wiederaufnahme des (damals sistierten) Quartierplanverfahrens weitere Verpflichtungen, Beschränkungen und Kosten auf die Grundeigentümer zukommen könnten. Der Umfang des Strassenausbaus im Bereich ihrer Parzellen sei indessen mit den Abtretungsverträgen abschliessend fixiert worden.
Die Verjährungsfrist beginne erst mit der rechtskräftigen Festsetzung des Quartierplans zu laufen, weil zuvor noch nicht festgestanden habe, ob die abgetretenen Flächen noch (ganz oder teilweise) für den Strassenausbau benötigt würden. Bis dahin hätten sich "hinreichende Gründe" dafür anführen lassen, dass die Fahrbahn noch nicht verbreitert worden sei.
Selbst wenn indessen die Verjährung eingetreten wäre, fehle es an der Verjährungseinrede, weil diese nur von der Stadt Zürich als Schuldnerin der Forderung erhoben werden könnte. Die Beschwerdeführenden verweisen auf die Praxis des Bundesgerichts, wonach die Verjährung öffentlich-rechtlicher Forderungen, wenn Private Gläubiger seien, nicht von Amtes wegen, sondern nur auf ausdrückliche Einrede des Staates hin zu berücksichtigen sei (BGE 101 Ib 348; Urteil 2C_245/2018 vom 21. November 2018 E. 4.1). Daran ändere sich auch nichts, wenn die Rückforderung im Rahmen eines Quartierplanverfahrens geltend gemacht werde. Die Mehrkosten von rund Fr. 72'150.-- des Beschwerdegegners seien lediglich die mittelbare Folge davon, dass die ungerechtfertigte Landabtretung wieder rückgängig gemacht werde. Hätte die Stadt Zürich von Anfang an richtig gehandelt und bereits 1957 nur soviel Land übernommen, wie für den Ausbau der G._strasse tatsächlich benötigt werde, würden sich die finanziellen Folgen des Quartierplans heute genau gleich präsentieren wie im festgesetzten Kostenteiler. Folge man dagegen der Auffassung der Vorinstanzen, zöge der Beschwerdegegner einen finanziellen Nutzen aus der früheren ungerechtfertigten Landabtretung, was sich weder mit dem Rechtsgleichheitsgebot noch mit der Eigentumsgarantie rechtfertigen lasse.
Abwegig und willkürlich seien schliesslich die Ausführungen des Verwaltungsgerichts, wonach die quartierplanrechtliche Behandlung der streitigen Fläche nicht als Zweckentfremdung zu qualifizieren sei, selbst wenn schliesslich eine ganz andere als die im Abtretungsvertrag vereinbarte Anlage innerhalb des Quartierplanperimeters gebaut werde.
6.4. Der Beschwerdegegner gibt zu bedenken, dass zur Zeit der Abtretung weder eine quartierplanliche Festlegung noch ein gesichertes Strassenbauprojekt bestanden habe. Den Rechtsvorgängern der Beschwerdeführenden sei es nicht um die Erweiterung der G._strasse gegangen, sondern darum, trotz der damals mangelhaften Erschliessung eine Baubewilligung für ihr Neubaugesuch zu erlangen, ohne vorgängig einen zeit- und kostenaufwändigen Quartierplan ausarbeiten zu müssen. Dieses Ziel hätten sie erreicht, hätten sie doch bauen und ihr Haus während mehr als 60 Jahren entsprechend nutzen können. Insofern liege keine vertragswidrige Nutzung der Flächen vor, auch wenn der Ausbau der G._strasse nicht nach den ursprünglichen Plänen erfolgt sei, sondern die streitbetroffenen Flächen als öffentliche Parkflächen und damit immerhin als Strassenland Verwendung gefunden hätten. Wenn im Übrigen die Stadt von Anfang an richtig gehandelt hätte, so hätte sie die Baubewilligung mangels hinreichender Erschliessung verweigert.
Im Übrigen bestreitet der Beschwerdegegner, dass hinreichende Gründe für den Aufschub i.S.v. § 58 Abs. 1 lit. a AbtrG vorlagen. Seit Inkrafttreten des PBG am 1. Juli 1978 hätte die Stadt einen Quartierplan auch von Amtes wegen einleiten können (§ 147 PBG); dazu hätte sie aufgrund der baulichen Entwicklung im Quartier (u.a. öffentliche Tennisanlage) auch allen Anlass gehabt. Der langjährige Quartierplanaufschub sei daher spätestens seit 1978 nicht mehr hinreichend begründet, so dass er den Lauf der Verjährung nicht mehr habe hindern können. Hinzu komme, dass mit der 1969 in Kraft getretenen Freihaltezone auf der Westseite der G._strasse der dort ursprünglich in Betracht gezogene Ausbau auch rechtlich ausgeschlossen worden sei.
Erachte man dagegen mit den Beschwerdeführenden den Aufschub des Quartierplans als hinreichenden Grund i.S.v. § 58 Abs. 1 lit. a AbtrG, so sei die Abtretungsfläche durch den Einbezug in die Quartierplanmasse gemäss § 138 Abs. 1 PBG nicht zweckentfremdet worden, weil die Grundstücke der Beschwerdeführenden erstmals durch den Quartierplan hinreichend erschlossen seien und die 1957 erteilte Baubewilligung damit erschliessungsrechtlich legalisiert werde.
7.
Das Verwaltungsgericht hat den Rückforderungsanspruch der Beschwerdeführenden mit verschiedenen alternativen Begründungen verneint (oben E. 6.2). Die Beschwerdeführenden müssen sich deshalb mit allen Begründungen auseinandersetzen und detailliert aufzeigen, weshalb diese nicht nur falsch, sondern geradezu willkürlich sind, liegt doch die Anwendung von kantonalem Recht im Streit (vgl. oben E. 1.3). Für die Abweisung der Beschwerde genügt es bereits, wenn sich eine der Begründungen des Verwaltungsgerichts als willkürfrei erweist.
7.1. Es ist unstreitig, dass die abgetretenen Flächen zum Strassenraum der G._strasse gehören und während Jahrzehnten für fünf Parkplätze in der blauen Zone genutzt wurden. Ob diese Nutzung dem in den Abtretungsverträgen vereinbarten Zweck entsprach oder dieser nachträglich von den Parteien ausgeweitet wurde, kann letztlich offenbleiben.
Geht man mit den Beschwerdeführenden vom Wortlaut der Abtretungsverträge aus (Ausbau der G._strasse auf 12 m Gesamtbreite; Verwendung der Abtretungsfläche zu Fahrbahn oder Trottoir), so wurden die Flächen vereinbarungswidrig als Parkplätze verwendet. Es erscheint daher nicht willkürlich, wenn das Verwaltungsgericht festhält, bei dieser Betrachtung wäre das Rückforderungsrecht verjährt, gleich ob die Verjährungsfrist bereits mit der Zweckentfremdung selbst zu laufen beginne oder erst nach zwei Jahren (analog § 58 Abs. 1 lit. a AbtrG), und unabhängig davon, ob die Verjährungsfrist fünf oder zehn Jahre betrage oder die Rückforderung einer 30-jährigen Verwirkungsfrist seit Expropriation unterliege.
7.2. Die Beschwerdeführenden machen dagegen geltend, alle seit der Abtretung erfolgten Nutzungen seien nur provisorischer Natur gewesen. Sie verweisen auf BGE 120 Ib 496 E. 3b, wonach das Rückforderungsrecht nach Art. 102 EntG (SR 711) erst dann ausgeschlossen sei, wenn die enteigneten Rechte während einer gewissen Zeit für den vorgesehenen Zweck verwendet worden seien und die Verwendung nicht bloss provisorischen Charakter gehabt habe.
Grundsätzlich leuchtet es ein, dass eine nur provisorische Nutzung zu einem anderen als dem vereinbarten Zweck keinen Rückforderungsanspruch auslöst, wenn hinreichender Anlass für den Aufschub besteht, d.h. weiterhin mit der Realisierung des vereinbarten Werks gerechnet werden darf. Nach den Feststellungen der Vorinstanzen wurde die abgetretene Fläche jedoch fast 60 Jahre für öffentliche Parkplätze genutzt. Die Beschwerdeführenden bringen selbst vor, die Parkplätze seien Ende der 80er/Anfang der 90er Jahre asphaltiert und der blauen Zone zugeteilt worden, d.h. zu einem Zeitpunkt, als der ursprünglich angedachte Strassenplan und das 1957 sistierte Quartierplanverfahren längst nicht mehr aktuell waren. Weshalb die Beschwerdeführenden die Parkplätze dennoch als blosses Provisorium betrachten und weiter auf einen Ausbau der G._strasse auf 12 m vertrauen durften, wird weder dargelegt noch liegt dies auf der Hand.
Dass die Parkplätze nunmehr, im neu festgelegten Quartierplan, aufgegeben und die Fläche rekultiviert werden soll, macht die jahrzehntelange Benutzung als Parkfläche nicht zum Provisorium: Die Nutzungs- und Erschliessungsplanung ist auf gewisse Planungshorizonte ausgerichtet (i.d.R. 15 Jahre) und muss periodisch an veränderte Verhältnisse und neue Vorstellungen über die erwünschte Raumnutzung angepasst werden.
7.3. Im Übrigen würde sich nichts ändern, wenn man statt von einer Zweckentfremdung (nach § 58 Abs. 1 lit. b AbtrG) von einer Nichtnutzung der abgetretenen Fläche i.S.v. § 58 Abs. 1 lit. a AbtrG ausginge. Diesfalls entsteht der Rückforderungsanspruch und beginnt somit auch die Verjährung zwei Jahre nach der Abtretung, sofern kein "hinreichender Grund" für den Aufschub bestand. Die Beschwerdeführenden machen zwar geltend, die Verjährungsfrist habe erst mit der Festsetzung des Quartierplans zu laufen begonnen, weil bis dahin hinreichende Gründe bestanden hätten, die Fahrbahn nicht zu verbreitern. Sie legen aber nicht dar, welche hinreichenden Gründe einen Aufschub der Erschliessung des Gebiets von fast 60 Jahren rechtfertigen könnten; erst recht fehlt es an einer diesbezüglichen Willkürrüge.
Damit erweist sich die Hilfsbegründung des Verwaltungsgerichts, wonach die Verjährungsfrist abgelaufen sei, nicht als willkürlich.
7.4. Zur Verjährungseinrede führte das Verwaltungsgericht aus, die Praxis, die Verjährung öffentlich-rechtlicher Forderungen nicht von Amtes wegen zu prüfen, wenn der Staat Schuldner sei, diene dem Schutz der Privaten. Hier liege allerdings kein Fall vor, in dem der Staat und eine Privatperson sich in einem Zweiparteienverfahren gegenüberstünden. Die Rückforderung werde im Rahmen der Überarbeitung des Quartierplans als Begehren nach § 155 PBG eingebracht. Im Quartierplanverfahren habe der Gemeindevorstand die Interessen aller Eigentümer und Eigentümerinnen gleich zu berücksichtigen und mit den öffentlichen Interessen in Einklang zu bringen. Daraus könne zwar nicht ohne Weiteres geschlossen werden, dass der Gemeindevorstand die Verjährungseinrede erheben müsse. Dagegen sei die Verjährungseinrede des Beschwerdegegners zu beachten: Als Quartierplangenosse sei er unmittelbar von den Festsetzungen des Quartierplans betroffen und daher zu allen Einreden befugt, die ihm einen Nutzen brächten.
Diese Erwägungen sind unter Willkürgesichtspunkten nicht zu beanstanden; hierfür kann auf das oben (E. 5) zur Anerkennung Gesagte verwiesen werden.
8.
Schliesslich rügen die Beschwerdeführenden eine Verletzung der Eigentumsgarantie.
8.1. Sie machen geltend, das Rückforderungsrecht lasse sich direkt aus Art. 26 BV ableiten und habe auch bei einer lückenhaften kantonalen Gesetzgebung Bestand (mit Verweis auf MARCO BORGHI, Die Rückforderung enteigneter Grundstücke, BR 1995 S. 63). Folge man der Ansicht der Vorinstanz, wären sie gezwungen, das Land, das sie im Jahr 1958 zu einem Preis von Fr. 60.--/m2 der Stadt Zürich abtreten mussten, nun zum heutigen Verkehrswert von Fr. 1'950/m2 zurückzuerwerben (als Mehrzuteilung im Sinn von § 145 PBG). Das Risiko, dass sich die einseitig von der Enteignerin ausgehenden Vorhersagen über die Verwendung der abgetretenen Landflächen nicht verwirklichen, sei allein von dieser zu tragen (BORGHI, a.a.O., S. 62). Gestützt auf das gesetzlich verankerte Rückforderungsrecht sowie auf die verfassungsmässige Eigentumsgarantie (Art. 26 BV) seien die Parteien daher in die Lage zurückzuversetzen, welche vor der sich als unnötig herausgestellten Landabtretung geherrscht habe. Hätte sich die Stadt von Anfang an nur soviel abtreten lassen, wie für den normaliengerechten Ausbau der G._strasse nötig sei, wären die Beschwerdeführenden Eigentümer der streitbetroffenen ca. 240 m2 geblieben und hätten auch von der Wertsteigerung profitieren können.
8.2. Beim Rückforderungsrecht handelt es sich um einen spezifischen enteignungsrechtlichen (gesetzlichen) Anspruch der von der Enteignung Betroffenen auf Rückübertragung des enteigneten Rechts, wenn dieses nicht oder zweckentfremdet verwendet wird. Das Rückforderungsrecht besteht auch nach Abschluss eines Enteignungsvertrags (vgl. BGE 114 Ib 142 E. 3b/bb S. 148; FRANZ KESSLER COENDET, Formelle Enteignung, in: Biaggini/Häner/Saxer/Schott, Fachhandbuch Verwaltungsrecht, 2015, N. 26.95 S. 1090). Er wird in der Literatur als Auswirkung (BORGHI, a.a.O., S. 62 f.) bzw. als folgerichtige Weiterentwicklung (HESS/WEIBEL, Das Enteignungsrecht des Bundes, Band I, 1986, N. 2 zu Art. 102 EntG) der Eigentumsgarantie bezeichnet.
Auch wenn sich der Rückforderungsanspruch aus Art. 26 BV ableiten lässt, ist es jedoch Aufgabe des Gesetzes, die Modalitäten der Geltendmachung dieses Anspruchs und insbesondere seine Verjährung zu regeln (vgl. für das Bundesenteignungsrecht Art. 105 EntG). Ist der Anspruch - wie vorliegend - verjährt, so stellt die Abweisung des Rückforderungsgesuchs bzw. seine Nichtberücksichtigung im Quartierplanverfahren keine Verletzung der Eigentumsgarantie dar.
9.
Schliesslich beanstanden die Beschwerdeführenden den Kosten- und Entschädigungsentscheid des Verwaltungsgerichts.
9.1. Das Verwaltungsgericht hielt fest, nach § 65a Abs. 1 des Zürcher Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 (VRG; LS 175.2) sei die Gerichtsgebühr nach dem Zeitaufwand, den Schwierigkeiten des Falls und dem Streitwert festzulegen. Die zu behandelnden Rechtsfragen seien als komplex zu bezeichnen. Der Streitwert für die Beschwerdeführenden sei auf insgesamt Fr. 469'950.-- (241 m2 à Fr. 1'950.--) abzüglich der anzurechnenden Trottoir- und Mehrwertbeiträge zu beziffern. Nach § 3 Abs. 1 und § 4 Abs. 1 der (übergangsrechtlich noch anwendbaren) Gebührenverordnung des Verwaltungsgerichts vom 23. August 2010 (aGebV VGr; OS 65, 991) sei die Gerichtsgebühr auf Fr. 12'000.-- festzusetzen.
9.2. Die Beschwerdeführenden rügen eine Verletzung des Äquivalenzprinzips bzw. des verfassungsrechtlichen Grundsatzes des wohlfeilen Verfahrens gemäss Art. 18 Abs. 1 der Zürcher Kantonsverfassung vom 27. Februar 2005 (KV/ZH; SR 131.211), Willkür und eine Verletzung des rechtlichen Gehörs. Das Verwaltungsgericht habe den Streitwert gegenüber dem vom Baurekursgericht angenommenen - und von keiner Seite beanstandeten - Streitwert von Fr. 72'150.-- versechsfacht, ohne den Parteien dazu vorgängig das rechtliche Gehör zu gewähren. Praxisgemäss sei für den Streitwert auf das im vorinstanzlichen Verfahren zuletzt aufrechterhaltene Rechtsbegehren abzustellen (VB.2013.00029). Liege der Streitwert bei Fr. 72'150.--, so betrage die Gerichtsgebühr Fr. 4'000.-- bis Fr. 6'000.--. Gründe für eine Erhöhung nach § 4 Abs. 1 aGebV VGr seien nicht ersichtlich, da das Verfahren nicht besonders aufwendig gewesen sei.
9.3. Gemäss § 3 Abs. 1 aGebV VGr bestimmt sich die Gerichtsgebühr bei Verfahren mit bestimmbarem Streitwert nach diesem und beträgt bei einem Streitwert von Fr. 250'000.-- bis 500'000.-- in der Regel zwischen Fr. 10'000.-- und 15'000.--. Im Folgenden sind daher zunächst die Rügen zur Streitwertberechnung zu prüfen.
9.3.1. Die Beschwerdeführenden verlangten vor Verwaltungsgericht die Aufhebung des Entscheids des Baurekursgerichts und die Bestätigung der Festsetzung des Quartierplans G._, weil sie ansonsten gezwungen seien, das im Jahr 1958 zu einem Ansatz von Fr. 60.--/m2 abgetretene Land zum heutigen Verkehrswert von Fr. 1'950.--/m2 zurückzukaufen (Verwaltungsgerichtsbeschwerde Rz. 40). Es ist daher nachvollziehbar und durfte die Beschwerdeführenden nicht überraschen, wenn das Verwaltungsgericht den Streitwert nach dem beanstandeten Rückkaufspreis berechnete.
Es würde im Ergebnis auch keinen Unterschied machen, wenn auf die Differenz zwischen dem Verkauf- und Rückkaufpreis (d.h. Fr. 1'880.--) abgestellt würde, d.h. der Streitwert Fr. 453'080.-- (Fr. 1'880.-- x 241 m2) betrüge, denn auch bei dieser Berechnung betrüge der Gebührenrahmen gemäss § 3 Abs. 1 aGebV VGr Fr. 10'000.-- bis 15'000.--.
9.3.2. Das Baurekursgericht stellte dagegen für die Streitwertberechnung auf das Interesse des Beschwerdegegners (= Rekurrenten) ab, dessen Antrag darauf abzielte, die ihm drohende Mehrbelastung durch die Reprivatisierung des fraglichen Landstreifens abzuwehren.
Die Beschwerdeführenden machen geltend, praxisgemäss bemesse sich der Streitwert nach den vorinstanzlich streitigen Begehren, entsprechend Art. 51 Abs. 1 lit. a BGG und der Praxis zu Art. 308 ZPO. Sie berufen sich dafür auf den Entscheid des Verwaltungsgerichts vom 26. Juni 2013 (VB.2013.00029 E. 1). Dieser betrifft jedoch die Streitwertberechnung für die Gerichtsbesetzung (nach § 38 Abs. 1 und § 38b Abs. 1 lit. c VRG/ZH) und nicht für die Gerichtskosten. Es erscheint zumindest nicht willkürlich, für die Gebührenbemessung auf den Streitgegenstand vor Verwaltungsgericht abzustellen, wie dies übrigens in der Literatur auch für Art. 65 BGG vorgeschlagen wird (THOMAS GEISER, in: Basler Kommentar BGG, 3. Aufl., Art. 65 N. 11 mit Hinweis).
9.4. Die Gerichtsgebühr von Fr. 12'000.-- liegt etwa in der Mitte des Gebührenrahmens, d.h. dieser wird weder ausgeschöpft noch erhöht. Angesichts der schwierigen rechtlichen Fragen, des Umfangs der Rechtsschriften und des angefochtenen Entscheids ist von einem aufwendigen Verfahren auszugehen. Insgesamt erscheint die Gebühr daher nicht offensichtlich übersetzt. Unter diesen Umständen ist sie weder unter dem Blickwinkel des Äquivalenzprinzips noch von Art. 18 KV/ZH (Anspruch auf rasche und wohlfeile Erledigung des Verfahrens) zu beanstanden: Der Begriff "wohlfeil" bedeutet, dass Rechtsuchende auch ohne allzu grosses finanzielles Risiko Zugang zu den Gerichten und Verwaltungsinstanzen haben sollen, und zielt vor allem auf Verfahren mit kleineren Streitwerten ab (Entscheid 2C_513/2012 vom 11. Dezember 2012 E. 3.5, in: StR, 68 2013 327).
10.
Die Beschwerdeführenden rügen schliesslich, es sei willkürlich gewesen, dem Beschwerdegegner eine Parteientschädigung für das verwaltungsgerichtliche Verfahren zuzusprechen.
10.1. Das Verwaltungsgericht erwog, nach § 17 Abs. 2 lit. a VRG sei die unterliegende Partei oder Amtsstelle zu einer angemessenen Entschädigung für die Umtriebe ihrer Gegnerschaft zu verpflichten, wenn die rechtsgenügende Darlegung komplizierter Sachfragen oder schwieriger Rechtsfragen besonderen Aufwand erforderte oder den Beizug eines Rechtsbeistands rechtfertige. Bei notwendigem besonderem Aufwand im Rahmen einer internen Vertretung würden die erforderlichen Verfahrenskosten in der Regel geringer veranschlagt als beim Beizug einer externen Vertretung (mit Verweis auf KASPAR PLÜSS, in Alain Griffel [Hrsg.], Kommentar VRG, 3. Aufl., § 17 N. 72). Vorliegend sei der Beschwerdegegner zwar nicht durch einen externen Rechtsbeistand vertreten, doch seien wegen der Komplexität des Streitfalls aufwendige Darlegungen schwieriger Rechtsfragen nötig gewesen, die den Beizug einer externen Vertretung gerechtfertigt hätten (PLÜSS, a.a.O., § 17 VRG, N. 49). Das Verwaltungsgericht sprach dem Beschwerdegegner daher eine Parteientschädigung von insgesamt Fr. 4'000.-- zu.
10.2. Die Beschwerdeführenden wenden im Wesentlichen ein, der Beschwerdegegner habe keine "Umtriebe" bzw. i.S.v. § 17 Abs. 2 lit. a VRG gehabt: Seine Rechtsschriften seien von einem pensionierten Rechtsanwalt verfasst worden, der seine Arbeit dem Beschwerdegegner vermutlich nicht in Rechnung gestellt habe, so dass diesem weder Ausgaben noch ein Einnahmeausfall entstanden seien.
10.3. Es ist schon fraglich, ob diese Begründung den Anforderungen von Art. 106 Abs. 2 BGG an eine Willkürrüge genügt. Die Beschwerdeführenden berufen sich auf BGE 131 II 200 E. 7.2; dieser Entscheid betrifft jedoch die "notwendigen Kosten" im Sinne von Art. 64 Abs. 1 VwVG und ist für den vorliegenden - kantonales Prozessrecht betreffenden - Fall nicht einschlägig.
Jedenfalls erscheint die Zusprechung einer Parteientschädigung nicht als willkürlich: Die Beschwerdeführenden bestreiten nicht, dass es sich um einen komplexen Fall handelte, der den Beizug einer externen Vertretung gerechtfertigt hätte bzw. besonderen Aufwand erforderte. Der Anspruch auf eine Parteientschädigung wäre daher unproblematisch, wenn der beigezogene Berater seinen Aufwand dem Beschwerdegegner in Rechnung gestellt hätte. Sofern er darauf verzichtete, so stellte er seine Arbeitszeit unentgeltlich zur Verfügung. Dies sollte dem Beschwerdegegner (einem gemeinnützigen Verein) zugute kommen, nicht aber die Beschwerdeführenden entlasten. Es ist daher nicht unhaltbar, eine Entschädigung zuzusprechen, unabhängig davon, ob der - tatsächlich entstandene - Aufwand dem Beschwerdegegner verrechnet wurde oder nicht.
11.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführenden kostenpflichtig (Art. 66 BGG).
Gemäss Art. 1 des Reglements über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht vom 31. März 2006 (SR 173.110.210.3; nachfolgend: Reglement) umfasst die nach Art. 68 BGG der obsiegenden Partei zustehende Parteientschädigung die Anwaltskosten (lit. a) und die allfälligen weiteren notwendigen Kosten, die durch den Rechtsstreit verursacht werden (lit. b). Wenn besondere Verhältnisse es rechtfertigen, kann das Gericht der Partei eine angemessene Entschädigung für weitere notwendige, durch den Prozess verursachte Umtriebe zusprechen (Art. 11 Reglement). Eigener Aufwand der Partei wird nur ausnahmsweise vergütet, wenn ein besonders erheblicher Aufwand dargetan wird (BGE 133 III 439 E. 4; 125 II 518 E. 5b; 115 Ia 12 E. 5; vgl. GEISER, a.a.O., Art. 68 N. 5).
Vorliegend beantragt der Beschwerdegegner zwar die entschädigungspflichtige Abweisung der Beschwerde, begründet den ihm entstandenen (oder zuzurechnenden) Aufwand indessen mit keiner Silbe. Es ist ihm daher keine Parteientschädigung zuzusprechen.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführenden auferlegt.
3.
Es werden keine Parteientschädigungen zugesprochen.
4.
Dieses Urteil wird den Parteien, dem Stadtrat von Zürich, dem Kanton Zürich, vertreten durch die Baudirektion, und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 8. April 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Gerber