Sachverhalt:
A.
Mit Beschluss vom 30. November 2016 revidierte der Gemeinderat (Gemeindeparlament) der Stadt Zürich die Bau- und Zonenordnung der Stadt Zürich (BZO Stadt Zürich) teilweise. Die Baudirektion des Kantons Zürich genehmigte die Teilrevision (im Folgenden: BZO 2016) mit hier nicht interessierenden Ausnahmen am 5. Juli 2017. Mit der BZO 2016 wurden die Grundstücke Kat.-Nrn. FL2971, FL2972 und FL2973 (U._strasse "..." sowie V._strasse "..." und "...") der Wohnzone W4 (statt wie bisher W3) zugeteilt.
B.
Gegen den Festsetzungsbeschluss erhoben A.A._ und B.A._, Eigentümer des Grundstücks Kat.-Nr. FL2972 (V._strasse "..."), Rekurs an das Baurekursgericht. Mit Entscheid vom 13. Juli 2018 wies dieses den Rekurs ab, soweit es darauf eintrat. Die dagegen erhobene Beschwerde von A.A._ und B.A._ vom 6. September 2018 hiess das Verwaltungsgericht mit Urteil vom 9. Januar 2020 gut und hob den angefochtenen Entscheid des Baurekursgerichts vom 13. Juli 2018 auf. Auch den Beschluss des Gemeinderats der Stadt Zürich vom 30. November 2016 und den Genehmigungsentscheid der Baudirektion Kanton Zürich vom 5. Juli 2017 hob es insoweit auf, als damit im Geviert zwischen Spyri-, Gladbach-, Schmelzberg- und Hochstrasse eine Wohnzone W4 festgelegt worden war. Es wies die Sache an den Gemeinderat der Stadt Zürich zurück, damit dieser eine das Bundesinventar der schützenswerten Ortsbilder der Schweiz von nationaler Bedeutung (ISOS) berücksichtigende Prüfung durchführe und allenfalls eine Kernzone im genannten Bereich festsetze.
C.
Mit Eingabe vom 17. Februar 2020 erhebt der Gemeinderat der Stadt Zürich Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt, den angefochtenen Entscheid des Verwaltungsgerichts vom 9. Januar 2020 aufzuheben sowie den Gemeinderatsbeschluss vom 30. November 2016 und die Genehmigungsverfügung der Baudirektion des Kantons Zürich vom 7. Juli 2017 zu bestätigen, soweit mit diesen das Geviert zwischen der Spyri-, Gladbach-, Schmelzberg- und Hochstrasse der Wohnzone W4 zugewiesen worden sei.
A.A._ und B.A._ stellen Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Baudirektion des Kantons Zürich beantragt die Gutheissung der Beschwerde. Im weiteren Schriftenwechsel halten die Parteien an ihren Anträgen fest, soweit sie sich äussern.

Erwägungen:
1.
Das Bundesgericht prüft seine Zuständigkeit und die Zulässigkeit der Beschwerde von Amtes wegen und mit freier Kognition (<ref-law>).
1.1. Angefochten ist ein kantonal letztinstanzlicher Entscheid auf dem Gebiet des Raumplanungsrechts (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen; ein Ausschlussgrund nach <ref-law> liegt nicht vor. Mit dem angefochtenen Entscheid hat die Vorinstanz die Beschwerde gegen die streitige Teilrevision der Bau- und Zonenordnung der Stadt Zürich vom 23. Oktober 1991 (BZO Stadt Zürich) gutgeheissen und die Sache an die Stadt Zürich zurückgewiesen.
1.2. Gegen einen solchen selbstständig eröffneten Zwischenentscheid ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nur zulässig, wenn er einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit und Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>; vgl. <ref-ruling> E. 1.2).
Würde das Bundesgericht vorliegend in Gutheissung der Beschwerde die Rechtmässigkeit der Teilrevision der BZO Stadt Zürich bejahen, wäre das Verfahren endgültig abgeschlossen und den Beschwerdegegnern bliebe der weitere mit der erneuten Durchführung des Planungsverfahrens für das streitbetroffene Geviert verbundene Aufwand erspart. Demzufolge ist von einem Anwendungsfall von <ref-law> auszugehen. Im Übrigen liegt nach der Rechtsprechung bei einem Rückweisungsentscheid, welcher der Gemeinde Vorgaben für das weitere planerische Vorgehen macht, für diese ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> vor (<ref-ruling> E. 1.2 S. 412 mit Hinweisen).
1.3. Die Stadt Zürich beruft sich zur Begründung ihrer Beschwerdebefugnis auf <ref-law>. Nach dieser Bestimmung sind Gemeinden und andere öffentlich-rechtliche Körperschaften zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert, wenn sie die Verletzung von Garantien rügen, die ihnen die Kantons- oder Bundesverfassung gewähren. Ob die beanspruchte Autonomie tatsächlich besteht, ist keine Frage des Eintretens, sondern der materiellen Beurteilung. Dasselbe gilt für die Frage, ob die Autonomie im konkreten Fall tatsächlich verletzt wurde (<ref-ruling> E. 1.4 S. 40). Für das Eintreten genügt, wenn sich die Gemeinde in vertretbarer Weise auf einen ihr zustehenden Autonomiebereich beruft. Dies trifft vorliegend zu, kommt doch den Zürcher Gemeinden im Bereich des Raumplanungsrechts eine relativ erhebliche Entscheidungsfreiheit zu (vgl. <ref-ruling> E. 3).
Die Stadt Zürich, die sich gestützt auf <ref-law> auf die Gemeindeautonomie beruft, ist deshalb befugt, das Urteil des Verwaltungsgerichts anzufechten. Auf die im Übrigen form- und fristgerecht erhobene Beschwerde ist einzutreten.
1.4. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht und von kantonalen verfassungsmässigen Rechten gerügt werden (Art. 95 lit. a und c BGG). Eine in ihrer Autonomie betroffene Gemeinde kann unter anderem geltend machen, die kantonale Behörde habe die Tragweite von verfassungsmässigen Rechten missachtet. Sie kann sich auf das Willkürverbot und auf Verfahrensgrundrechte berufen, soweit diese Vorbringen mit der behaupteten Rüge der Autonomieverletzung in engem Zusammenhang stehen. Die Anwendung von Bundesrecht und kantonalem Verfassungsrecht prüft das Bundesgericht mit freier Kognition, die Handhabung von kantonalem Gesetzes- und Verordnungsrecht nur unter dem Gesichtswinkel des Willkürverbots (<ref-ruling> E. 3.1 S. 89). Es wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft es aber nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 3 mit Hinweisen).
1.5. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Dies muss in der Beschwerdeschrift detailliert, unter Auseinandersetzung mit den vorinstanzlichen Erwägungen, begründet werden (<ref-ruling> E. 1.4.3 S. 255), d.h. es genügt nicht, lediglich allgemeine Kritik zu üben und einen von den tatsächlichen Feststellung der Vorinstanz abweichenden Sachverhalt zu behaupten (<ref-ruling> E. 2.2 S. 23).
Der Beschwerdeführer rügt die vorinstanzliche Sachverhaltsfeststellung wiederholt als willkürlich, wobei dies unsubstanziiert und damit nicht rechtsgenüglich geschieht (vgl. Art. 42 Abs. 2 und <ref-law>). Insoweit ist auf die Beschwerde nicht einzutreten.
2.
Der Beschwerdeführer macht vor Bundesgericht geltend, dass die damaligen Beschwerdeführer (die heutigen Beschwerdegegner) ihre Beschwerdelegitimation im vorinstanzlichen Verfahren angeblich nicht genügend substanziiert hätten und die Vorinstanz mit ihrem Eintreten auf die Beschwerde im Lichte ihrer eigenen Praxis willkürlich gehandelt habe.
Zu Recht wird nicht bestritten, dass die Beschwerdeführer des vorinstanzlichen Verfahrens im damaligen Verfahren beschwerdelegitimiert waren. Für die Vorinstanz ergab sich die Beschwerdelegitimation der Beschwerdeführer damals aus den von diesen eingereichten Begehren und Begründungen und nicht direkt aus den Ausführungen der Beschwerdeführer zur Begründung ihrer Beschwerdelegitimation. Die Beschwerdelegitimation wird in jedem Verfahren von der Entscheidinstanz von Amtes wegen geprüft. Entgegen der Ansicht des Beschwerdeführers war es daher zulässig, dass die Vorinstanz die Legitimation der damaligen Beschwerdeführer aufgrund der aktenkundigen Umstände bejaht hat.
3.
Seit Oktober 2016 ist die Stadt Zürich als Objekt 5800 im ISOS verzeichnet (vgl. Anhang 1 der Verordnung über das Bundesinventar der schützenswerten Ortsbilder der Schweiz vom 13. November 2019 [VISOS; SR 451.12]). Bei diesem handelt es sich um ein Inventar von Objekten von nationaler Bedeutung im Sinne von Art. 5 Abs. 1 des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451). Durch die Aufnahme eines Objektes von nationaler Bedeutung in ein Inventar des Bundes wird dargetan, dass es in besonderem Masse die ungeschmälerte Erhaltung, jedenfalls aber die grösstmögliche Schonung verdient (<ref-law>). Diese Schutzbestimmung gilt indes, wie <ref-law> festhält, lediglich bei der Erfüllung von Bundesaufgaben in unmittelbarer Weise. Die Kantone und Gemeinden sind jedoch verpflichtet, das ISOS im Rahmen ihrer Ortsplanung zu berücksichtigen (<ref-ruling> E. 2.1 S. 213; vgl. nun auch die ausdrückliche Berücksichtigungspflicht in <ref-law> bzw. Art. 4a der vorher geltenden gleichnamigen Verordnung vom 9. September 1981 [AS 1981 1680 und AS 2010 1593, 1597]; Urteil des Bundesgerichts 1C_416/2019 vom 2. Februar 2021 E. 4.3, zur Publikation bestimmt).
Das NHG enthält keine förmlichen Anforderungen, wie den Anliegen des ISOS Rechnung zu tragen ist (<ref-ruling> E. 3 S. 217). In materieller Hinsicht bedeutet eine hinreichende Berücksichtigung des ISOS, dass die einzelnen Einträge zu beachten und gegen allfällige entgegenstehende Interessen wie etwa das Bedürfnis nach Wohnraum und den Grundsatz der inneren Verdichtung (Art. 1 Abs. 2 lit. a bis und Art. 3 Abs. 3 lit. a bis RPG [SR 700]) abzuwägen sind. Dabei genügt es nicht, wenn die ISOS-Einträge nur wiederholt werden; vielmehr müssen sie ernsthaft in die Überlegungen einbezogen werden. Auch reicht es nicht aus, die entgegenstehenden Interessen bloss generell anzurufen, sondern es muss geprüft werden, welches Gewicht ihnen unter den jeweiligen konkreten Umständen zukommt (Urteil des Bundesgerichts 1C_276/2015 vom 29. April 2016 E. 3.1 und 3.3). Gewichtig ist namentlich das Interesse am Schutz von Bauten, die in das ISOS mit dem Erhaltungsziel A (Substanzerhaltung) aufgenommen wurden (vgl. Urteil des Bundesgerichts 1C_305/2015 vom 14. Dezember 2015 E. 6.3).
4.
Die Baugruppe 5.5 (Fluntern) gemäss ISOS umfasst im Wesentlichen das Gebiet zwischen Gladbach-, Schmelzberg- und Hoch- bzw. Vogelsangstrasse sowie den Spyriplatz und die Bebauung auf der nordöstlichen Seite der Gladbachstrasse in diesem Bereich. Es wird wie folgt beschrieben: "Wohnhäuser am nordwestlichen Abschnitt der Gladbachstrasse: dichte Bebauung in orthogonalem Strassenmuster, in mittlerem Geviert Grünraum; offene Blockrand- und Zeilenbebauung sowie dicht gereihte Mehrfamilienhäuser meist hinter Vorgärten von der Strasse zurückgesetzt, v.a. 1890-1920, wenige Ersatzbauten, 3. V[iertel] 20. Jh." Als Aufnahmekategorien werden A (ursprüngliche Substanz) und B (ursprüngliche Struktur) angegeben; dem Gebiet wird eine "gewisse" räumliche und architekturhistorische Qualität sowie Bedeutung zugesprochen; in Bezug auf das Erhaltungsziel wird es der Kategorie "A" zugewiesen, wonach die Substanz zu erhalten ist, was bedeutet, dass alle Bauten, Anlageteile und Freiräume integral erhalten werden und störende Eingriffe beseitigt werden sollen (ISOS, Band 6.2, S. 288 und 291 [vgl. auch S. 301], sowie Erläuterungen zum ISOS, a.a.O., S. 570). Das vorliegende Verfahren betrifft jedoch einzig die Festsetzung einer Wohnzone W4 im Geviert zwischen Spyri-, Gladbach-, Schmelzberg- und Hochstrasse, welches sich innerhalb der beschriebenen Baugruppe 5.5 (Fluntern) befindet. Der Streitgegenstand umfasst somit nicht das ganze Gebiet der ISOS-Baugruppe 5.5 (Fluntern) und auch das genannte Geviert nur insoweit, als es der Wohnzone W4 zugeteilt werden soll, unter Ausklammerung der Bereiche, die der Zone für öffentliche Bauten Oe3 sowie der Erholungszone E1 zugewiesen wurden.
4.1. Der Beschwerdeführer macht geltend, das ISOS im Rahmen des Prozesses der Teilrevision der BZO Stadt Zürich hinreichend berücksichtigt zu haben. Die Vorinstanz sei in willkürlicher Feststellung des Sachverhalts davon ausgegangen, dass das ISOS ungenügend in die raumplanerische Interessenabwägung eingeflossen sei. Es habe diesbezüglich insbesondere die Anforderungen an die förmliche Berichterstattung im Rahmen des Planungsverfahrens überspannt und die nachträglichen Ausführungen des Beschwerdeführers im Rechtsmittelverfahren zu Unrecht nicht gewürdigt. Mit der Aufhebung des Entscheids des Beschwerdeführers habe die Vorinstanz widerrechtlich in dessen Planungsautonomie eingegriffen und dabei dessen Anspruch auf rechtliches Gehör verletzt.
4.2. Streitig ist nicht, ob das ISOS im Rahmen der Teilrevision der BZO Stadt Zürich berücksichtigt wurde, sondern, ob seine Berücksichtigung rechtsgenüglich erfolgte.
4.2.1. Die Vorinstanz verneinte, dass das ISOS bei der Teilrevision der BZO Stadt Zürich genügend berücksichtigt worden sei. Dabei stützte sie sich insbesondere darauf ab, dass die Gemeinde in allen Konflikten zwischen der BZO 2016 und dem ISOS bloss pauschal, mit der gleichen stereotypen Begründung und unabhängig vom Erhaltungsziel gemäss ISOS dem Interesse an der baulichen Verdichtung den Vorzug gab. Dies sei selbst dort geschehen, wo ausser einer mit dem ISOS unvereinbaren Zonierung keine weiteren entgegengesetzten Interessen vorlagen, was nur so interpretiert werden könne, dass die einzelnen ISOS-Einträge nicht spezifisch geprüft und gewichtet worden seien. Das schematische Vorgehen der Gemeinde lasse in den Konfliktfällen zwischen dem ISOS und der BZO 2016 jegliche Bezugnahme auf das Bundesinventar vermissen.
4.2.2. Was der Beschwerdeführer dagegen vorbringt, überzeugt nicht. Er wiederholt über weite Strecken die Argumente, welche er bereits vor der Vorinstanz vorgebracht hatte. Auf die Begründung der Vorinstanz nimmt er dabei im Lichte von <ref-law> meist nur ungenügend Bezug. Entsprechend kann dazu auf die vorinstanzlichen Ausführungen verwiesen werden. Entgegen seiner Ansicht hat die Vorinstanz auch nicht behauptet, dass keine Interessenabwägung unter Einbezug der Festlegungen des ISOS stattgefunden habe, sondern nur, dass dieser Einbezug ungenügend war. Dieser vorinstanzlichen Einschätzung steht auch nicht entgegen, dass bundesrechtlich keine förmlichen Anforderungen gelten, wie den Anliegen des ISOS Rechnung zu tragen ist (vgl. dazu vorne E. 3). Es gelingt dem Beschwerdeführer nicht, die Ausführungen der Vorinstanz zu entkräften und aufzuzeigen, dass die Interessenabwägung im Rahmen der Teilrevision der BZO Stadt Zürich, wie von der Vorinstanz zu Recht verlangt, unter genügendem Einbezug der konkreten Einträge im ISOS erfolgt ist - nicht zuletzt auch betreffend dem vorliegenden Gebiet, welches das ISOS mit dem Erhaltungsziel A aufgenommen hat (vgl. vorne E. 3 a.E.).
4.2.3. Das ebenfalls erneut vorgebrachte Argument, dass für die BZO 2016 eine umfangreiche und grossflächige Nutzungsplanung stattgefunden habe, weshalb die Berichterstattung nicht parzellengenau habe erfolgen können, liess bereits die Vorinstanz - zu Recht - nicht gelten. Der Mangel betreffe im Kern nicht die Dichte des Erläuterungsberichts, sondern die substanzielle Berücksichtigung des ISOS. Die Vorinstanz hielt zutreffend fest, dass die Anforderungen an die Planung grundsätzlich nicht deshalb gesenkt werden dürften, weil die Nutzungsplanung ein grosses Gebiet umfasse. Andernfalls würde das Gewicht des ISOS im umgekehrten Verhältnis zur Ausdehnung des Planungsgebiets abnehmen, sodass es tendenziell umso weniger Beachtung fände, je mehr ISOS-Objekte betroffen wären bzw. je grösser deren Ausdehnung wäre, was dem Zweck des Inventars offensichtlich nicht entspräche. Dem ist nichts beizufügen.
4.2.4. Entgegen der Ansicht des Beschwerdeführers ist es weiter nicht zu beanstanden, wenn die Vorinstanz ausführt, dass eine fehlende (rechtsgenügliche) Berücksichtigung des ISOS im Rahmen der Nutzungsplanung auch nicht durch eine nachträgliche Prüfung der Frage ersetzt werden könne, ob das Ergebnis der Planung haltbar wäre, wenn das ISOS berücksichtigt worden wäre. Dem ist beizupflichten. Gerade bei der von offenen Normen geprägten Nutzungsplanung wirkt die Interessenabwägung selbst rechtsbildend. Zur Überprüfung der Richtigkeit des Entscheidungsinhalts ist daher grundsätzlich die Interessenabwägung, die zu dieser Entscheidung geführt hat, massgeblich einzubeziehen. Dies bedingt, dass die zuständige Behörde die wesentlichen Schritte ihrer Interessenabwägung (Ermittlung, Beurteilung und Optimierung der Interessen) offenlegt (siehe zum Ganzen PIERRE TSCHANNEN, in: Aemisegger/Moor/Ruch/Tschannen: Praxiskommentar RPG, Richt- und Sachplanung, Interessenabwägung, 2019, N. 34 f. zu Art. 3 RPG). Da selbst die im Rechtsmittelverfahren nachgereichten Dokumente keine rechtsgenügliche Interessenabwägung belegen konnten, muss nicht vertieft werden, inwiefern ein solches Nachreichen der hauptsächlichen Bestandteile der Interessenabwägung überhaupt zulässig ist. Mangels einer in den wesentlichen Zügen erkennbaren rechtsgenüglichen Interessenabwägung, ist es nicht ausschlaggebend, inwieweit die vom ISOS geschützten Interessen bereits durch denkmalschützerische Massnahmen genügend geschützt werden und ob vorliegend eine Kernzone auszuscheiden gewesen wäre.
4.2.5. Daraus ergibt sich, dass die Vorinstanz mit dem angefochtenen Entscheid die Autonomie der Gemeinde nicht verletzt hat. Zudem dringen die in verschiedenem Zusammenhang vorgebrachten Gehörsverletzungen (<ref-law>) angesichts der Ausführungen nicht durch. Auch eine Auseinandersetzung mit den von den Beschwerdegegnern zusätzlich vorgebrachten Argumenten bezüglich eines durch aussergerichtliche Vereinbarung beigelegten Streits des Beschwerdeführers mit dem Schweizer und dem Zürcher Heimatschutz ist damit nicht erforderlich.
5.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Dem in seinem amtlichen Wirkungskreis unterliegenden Beschwerdeführer werden keine Gerichtskosten auferlegt (<ref-law>). Hingegen muss er den privaten Beschwerdegegnern eine angemessene Parteientschädigung bezahlen (vgl. Art. 68 Abs. 1, 2 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Es werden keine Gerichtskosten erhoben.
3.
Der Beschwerdeführer hat A.A._ und B.A._ für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Baudirektion des Kantons Zürich, C._, D._ und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, schriftlich mitgeteilt.
Lausanne, 28. Juni 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Bisaz