Sachverhalt:
A.
A._ ist Eigentümer der Liegenschaft Kat.-Nr. 2122 am Bleicherweg 64a in der Stadt Zürich. Sie liegt im Innenhof einer grossen, (meist) sechsgeschossigen Blockrandbebauung, zu der zahlreiche Denkmalpflege-Inventarobjekte (Bleicherweg 68, Tödistrasse 51, 53 und 55, Gartenstrasse 25 und 33 sowie Freigutstrasse 2, 6 und 10) und zwei Schutzobjekte (Freigutstrasse 12 und 14) gehören. Auf dem Grundstück von A._ steht ein zweigeschossiges Sichtbacksteingebäude. Dieses stammt aus dem Jahr 1856, wurde also vor der Blockrandbebauung erstellt. Im Innenhof befinden sich ausserdem drei weitere Bauten.
B.
Die Baudirektion des Kantons Zürich genehmigte am 5. Juli 2017 im Wesentlichen eine Teilrevision der Bau- und Zonenordnung der Stadt Zürich, welche die Umzonung der Liegenschaft von A._ von der Kernzone K4 in die Kernzone K2 vorsieht; dies hätte eine Reduktion der künftigen Nutzung um etwa die Hälfte zur Folge gehabt.
Gegen diesen Genehmigungsentscheid rekurrierte A._ beim Baurekursgericht des Kantons Zürich (BRG) und beantragte, sein Grundstück sei in der Kernzone K4 zu belassen. Mit Entscheid vom 10. August 2018 wies das BRG den Rekurs ab, nachdem es einen Augenschein durchgeführt hatte.
Das Verwaltungsgericht des Kantons Zürich hiess die Beschwerde von A._ gegen dieses Urteil teilweise gut. Es hob die Entscheide der Vorinstanzen insoweit auf, als die Liegenschaft am Bleicherweg 64a in die Kernzone K2 umgezont wurde und wies sie stattdessen der Kernzone K3 zu.
C.
Dagegen führt A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, seine Liegenschaft sei der Kernzone K4 zuzuweisen.
Das Verwaltungsgericht sowie die Stadt Zürich beantragen die Abweisung der Beschwerde. Die Baudirektion verzichtet auf eine Stellungnahme.
Das Bundesgericht hat eine Stellungnahme des Bundesamts für Kultur (BAK) eingeholt.

Erwägungen:
1.
1.1. Das Urteil des Verwaltungsgerichts ist ein kantonal letztinstanzlicher Endentscheid (Art. 86 Abs. 1 lit. d und Art. 90 BGG), der das Bau- und Planungsrecht betrifft. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (<ref-law>). Der Beschwerdeführer ist als Eigentümer der Liegenschaft Kat.-Nr. 2122 durch die Herabzonung belastet und folglich zur Beschwerde berechtigt (<ref-law>). Auf die rechtzeitig erhobene Beschwerde ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem und kommunalem Recht - prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>). Dabei gelten qualifizierte Begründungsanforderungen (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Echte Noven, d.h. Tatsachen, die erst nach dem angefochtenen Entscheid entstanden sind, sind im Verfahren vor Bundesgericht grundsätzlich unbeachtlich (<ref-ruling> E. 3.1.2 S. 123 mit Hinweis).
2.
2.1. Das Verwaltungsgericht hat zunächst erwogen, der massgebliche Teilzonenplan Selnau stamme aus dem Jahr 1999, weshalb sich eine Revision rechtfertige. Dies gelte umso mehr, als die Stadt Zürich seither ins Bundesinventar der schützenswerten Ortsbilder von nationaler Bedeutung (ISOS) aufgenommen worden sei. Dessen Schutzanliegen sei durch eine Überarbeitung der Nutzungsplanung Rechnung zu tragen (Berücksichtigungspflicht). Gemäss § 203 des Planungs- und Baugesetzes vom 7. September 1975 des Kantons Zürich (PBG/ZH; LS 700.1) seien Objekte des Natur- und Heimatschutzes namentlich auch durch Massnahmen des Planungsrechts zu schützen. Das betroffene Geviert sei im ISOS mit Erhaltungsziel "C" verzeichnet, und die Blockrandbebauung sei von zahlreichen Inventar- und Schutzobjekten geprägt. Weiter hat das Verwaltungsgericht befunden, das Grundstück des Beschwerdeführers befinde sich zwar in der Kernzone K4, doch wäre ein Ausbau der Liegenschaft nach den für diese Zone geltenden Regeln schon heute nicht oder nur unter Einbezug von Näherbaurechten möglich. Allerdings werde die Wertigkeit der Blockrandbebauung durch die bestehenden Gebäude im Innenhof nicht wesentlich herabgemindert. Die Herabzonung der Liegenschaft des Beschwerdeführers liege zwar im öffentlichen Interesse, doch erweise sich eine Einstufung in die Kernzone K3 - statt K2 - als mildere und ebenso zweckmässige Massnahme. Daher wies das Verwaltungsgericht die Liegenschaft des Beschwerdeführers der Kernzone K3 zu.
2.2. Der Beschwerdeführer wirft der Vorinstanz eine offensichtlich unrichtige Sachverhaltsfeststellung vor, soweit sie behaupte, ein Ausbau seiner Liegenschaft sei schon heute nicht oder nur mittels Näherbaurechten möglich. Es liege auch keine schützenswerte Innenhofsituation vor, denn die Innenhöfe würden im ISOS gar nicht thematisiert. Sodann macht der Beschwerdeführer einen unzulässigen Eingriff in die Eigentumsgarantie geltend. Denkmalpflegerisch von Bedeutung sei die Blockrandbebauung, doch stelle sein Grundstück gar keinen Teil davon dar. Folglich fehle ein öffentliches Interesse an der Herabzonung. Jedenfalls wäre die Massnahme aber unverhältnismässig. Es sei nicht ausgeschlossen, dass bei einem konkreten Bauvorhaben mit einem Nachbarn "ein wohl gegenseitiges Näherbaurecht" ausgehandelt werden könne, was eine viergeschossige Baute ermöglichen würde. Dadurch würde die Hierarchie der Blockrandbebauung nicht gefährdet.
2.3. Die Beschwerdegegnerin Stadt Zürich weist darauf hin, für eine Blockrandbebauung sei die Innenhofsituation kennzeichnend; diese würde charakterisiert durch eine Hierarchisierung der Bebauung, in welcher der Blockrand vielgeschossig sei, während sich im Innenhof keine oder bloss niedrige Zweckbauten befänden. Dies werde durch die Abzonung in die Kernzone K2 sichergestellt, was der Stossrichtung des ISOS entspreche. Der Hofbereich wirke heute überstellt. Durch die Zuweisung der Liegenschaft des Beschwerdeführers in die Kernzone K3 habe das Verwaltungsgericht ohne triftigen Grund den Entscheid des BRG abgeändert und ein vermeintlich salomonisches Urteil gefällt, obwohl die Abzonung in die Kernzone K2 deutlich näher beim angestrebten Innenhofbild läge.
2.4. Das BAK schliesslich führt aus, das interessierende Gebiet weise eine hohe räumliche und architekturhistorische Qualität auf. Im vorliegenden Fall habe eine eingehende Auseinandersetzung mit den Interessen des Ortsbildschutzes stattgefunden. Die Erhaltungsziele des ISOS würden überzeugend mit den kantonalen und kommunalen Schutzinteressen zusammengeführt. Aus der Sicht des BAK sei nicht zu beanstanden, wie die Vorinstanzen ihren Ermessensspielraum ausgeübt hätten.
3.
3.1. Der Beschwerdeführer wirft der Vorinstanz eine offensichtlich unrichtige Feststellung des Sachverhalts vor, soweit diese befunden habe, es wäre ihm bereits heute nach den für die Kernzone K4 geltenden Regeln nicht bzw. nur unter Einbezug von Näherbaurechten möglich gewesen, seine Liegenschaft mit einer viergeschossigen Baute zu überbauen.
Die Frage der tatsächlichen Überbaubarkeit des Grundstücks stellt keine reine Sachverhaltsfrage dar. Neben tatsächlichen Aspekten wie der Grundstücksgrösse und den vorhandenen Näherbaurechten spielt auch die reglementarische und baugesetzliche Situation - also die Rechtslage - eine Rolle. Soweit es sich um Elemente des Sachverhalts handelt, sind die vorinstanzlichen Feststellungen aber jedenfalls nicht willkürlich: Im Umfang, in dem der Beschwerdeführer auf seine Ausführungen in den vorinstanzlichen Rechtsschriften verweist, genügt dies den Anforderungen an die Beschwerdebegründung gemäss <ref-law> nicht, um die erwähnten Feststellungen zu beanstanden (<ref-ruling> E. 5.1 S. 144; <ref-ruling> E. 1.3 S. 306). Belegt hat er im vorliegenden Verfahren einzig eine Grunddienstbarkeit gegenüber dem Grundstück Kat.-Nr. EN2764. Im Übrigen bezeichnet er es selbst bloss als "nicht ausgeschlossen, dass bei einem konkreten Bauvorhaben mit einem Nachbarn ein wohl - gegenseitiges - Näherbaurecht ausgehandelt werden" könnte. Diese Aussage kann nicht anders denn als Eingeständnis verstanden werden, dass er heute nicht über die erforderliche Dienstbarkeit verfügt. Die Feststellung der Vorinstanz, er wäre heute nicht aus eigenem Recht in der Lage, auf seinem Grundstück eine Baute zu erstellen, welche die Möglichkeiten der Kernzone K4 voll ausnützt, ist somit nicht offensichtlich unrichtig.
3.2. Sodann beanstandet der Beschwerdeführer die Bezeichnung "Innenhof" für das vom Bleicherweg sowie von der Tödi-, der Garten- und der Freigutstrasse umschlossene Areal. Auf diesen rein sprachlichen Einwand braucht indessen nicht näher eingegangen zu werden. Auch nach Auffassung der Vorinstanz handelt es sich um einen untypischen Innenhof, weil er mit mehreren, teils grösseren Gebäuden überbaut ist und von drei Einfahrten durchbrochen wird. In diesem Sinne kann auch im vorliegenden Urteil an der Bezeichnung "Innenhof" festgehalten werden.
3.3. Im Übrigen stellen sich keine Sachverhaltsrügen. Auf den beantragten Augenschein kann daher verzichtet werden.
4.
Der Beschwerdeführer erachtet die Rückzonung seiner Liegenschaft als unzulässigen Eingriff in die verfassungsmässige Eigentumsgarantie. Die Massnahme liege weder im öffentlichen Interesse noch sei sie verhältnismässig.
4.1.
4.1.1. Ob eine Eigentumsbeschränkung im öffentlichen Interesse liegt und verhältnismässig ist, prüft das Bundesgericht frei. Es auferlegt sich aber Zurückhaltung, soweit die Beurteilung von der Würdigung der örtlichen Verhältnisse abhängt, welche die kantonalen Behörden besser kennen (Urteile 1C_149/2018 vom 13. September 2018 E. 2.3 mit Hinweisen; 1C_326/2018 vom 21. November 2018 E. 5.1), was namentlich auf dem Gebiet des Denkmalschutzes zutrifft (<ref-ruling> E. 2c S. 221 f.; <ref-ruling> E. 4.3 S. 416; je mit Hinweisen; Urteil 1C_368/2019 vom 9. Juni 2020 E. 9.3).
4.1.2. Der Beschwerdeführer anerkennt ausdrücklich das öffentliche Interesse am Schutz der bestehenden Blockrandbebauung. Er macht aber geltend, seine Liegenschaft gehöre nicht zu dieser und befinde sich auch nicht in einem als solchen zu qualifizierenden Innenhof. Die Vorinstanz hat demgegenüber befunden, es bestehe ein öffentliches Interesse daran, die interessierende Blockrandbebauung erkennbar zu erhalten. Dies bedinge, dass sie nicht durch bestehende Bauten im Innenhof konkurrenziert werde. Dies rechtfertige sich umso mehr, als das ISOS fordere, den Charakter der Blockrandbebauung zu erhalten.
Diese Erwägungen sind nicht zu beanstanden. Ein wenig überbauter Innenhof ist typisch für eine Blockrandbebauung. Ist Letztere denkmalpflegerisch interessant, sollten Bauten im Innenhof deutlich niedriger in Erscheinung treten als jene der Blockrandbebauung, ansonsten diese nicht mehr erkennbar ist. An einem so verstandenen Schutz der Blockrandbebauung kann ein öffentliches Interesse nicht abgesprochen werden, zumal der Erhalt des Siedlungscharakters im ISOS ausdrücklich als Schutzziel definiert wird. Hierfür kann weiterhin auf die Ausführungen des fachkundigen BAK verwiesen werden (vgl. oben E. 2.4).
4.1.3. Nicht leicht verständlich sind die Erwägungen des Verwaltungsgerichts zur Frage, ob auch die Rückzonung der Liegenschaft des Beschwerdeführers (und der übrigen Grundstücke im interessierenden Innenhof) in eine Zone, in der bloss eine weniger hohe Bauweise erlaubt ist, im öffentlichen Interesse liegt. Es hat erwogen, eine viergeschossige Baute würde nicht dazu führen, dass der Innenhof der Blockrandbebauung nicht mehr als solcher erkennbar wäre; im Verhältnis zur umgebenden Blockrandbebauung würde ein vierstöckiger Ersatzbau auf der Liegenschaft des Beschwerdeführers "wenig ändern" bzw. die Wertigkeit der Blockrandbebauung würde "nicht wesentlich herabgemindert".
Die Stadt Zürich bestreitet diese Einschätzung vehement und macht in diesem Zusammenhang eine Verletzung ihrer Gemeindeautonomie geltend. Sie ist der Auffassung, der Hofbereich wirke bereits heute überstellt und die Vorinstanz schätze die nachteiligen Auswirkungen falsch ein, die mit einem zusätzlichen viergeschossigen Gebäude verbunden wären. Das BRG habe aufgrund seines Augenscheins die Auffassung der Stadt als absolut nachvollziehbar erachtet, grosse Volumen im Hofbereich würden zu einer städtebaulich unerwünschten Störung des architektonischen Gleichgewichts führen.
4.1.4. Auf diese Kontroverse braucht indessen nicht näher eingegangen zu werden: Die Stadt Zürich hat nicht Beschwerde ans Bundesgericht geführt und letzteres ist an die Anträge des Beschwerdeführers gebunden und kann insoweit keine reformatio in peius aussprechen (vgl. <ref-law>). Die Erwägungen der Vorinstanz können sodann nicht anders verstanden werden, als dass sie ein öffentliches Interesse an der Rückzonung nicht grundsätzlich verneint, dies aber als eher gering erachtet. Angesichts der Zurückhaltung, die sich das Bundesgericht auferlegt, soweit die materielle Beurteilung von einer Würdigung der örtlichen Verhältnisse abhängt, erscheint diese Einschätzung als vertretbar. Die Einwände der Stadt Zürich ändern daran nichts. Zum einen erhebt sie nicht die Rüge der offensichtlich unzutreffenden Sachverhaltsfeststellung. Zum andern liegen Eigentumsbeschränkungen zum Schutz von Baudenkmälern nach der bundesgerichtlichen Rechtsprechung ganz allgemein im öffentlichen Interesse. Wie gewichtig dieses Interesse ist und in welchem Ausmass es einen denkmalpflegerischen Schutz eines Objekts verlangt, ist bei der Prüfung der Verhältnismässigkeit im engeren Sinne im Einzelfall zu prüfen (<ref-ruling> E. 4a S. 275; vgl. auch <ref-ruling> E. 4.5 S 389; <ref-ruling> E. 3.2 S. 92; je mit Hinweisen; Urteil 1C_499/2019 vom 7. Juli 2020 E. 3.3). Es ist mit andern Worten eine Frage der Verhältnismässigkeit, namentlich der Zumutbarkeit, ob der denkmalpflegerische Nutzen der hier strittigen Rückzonung in einem vernünftigen Verhältnis zur damit bewirkten Eigentumsbeschränkung steht. Dies ist nachfolgend zu prüfen.
4.2.
4.2.1. Das Verhältnismässigkeitsprinzip besagt im vorliegenden Zusammenhang, dass eine öffentlich-rechtliche Eigentumsbeschränkung zur Erreichung des angestrebten Ziels geeignet und erforderlich und der betroffenen Person in Anbetracht der Schwere der Einschränkung zumutbar sein muss (Urteil 1C_327/2014 vom 11. März 2015 E. 5.2).
Die Beschränkung der zulässigen Geschosszahl im Innenhof stellt nach den obigen Ausführungen (E. 4.1) eine geeignete Massnahme zum Schutz der Blockrandbebauung dar. Eine ebenso geeignete, mildere Massnahme thematisiert der Beschwerdeführer nicht und ist auch nicht ersichtlich. Zu prüfen bleibt somit, ob ihm die Massnahme auch zumutbar ist. Zu verlangen ist insofern eine vernünftige Zweck-Mittel-Relation. Eine Massnahme ist unverhältnismässig, wenn das Ziel mit einem weniger schweren Grundrechtseingriff erreicht werden kann (<ref-ruling> E. 7.5.2 S. 53).
Auf dem Grundstück des Beschwerdeführers befindet sich eine zweigeschossige Baute aus dem Jahr 1856. Diese bleibt auch nach der neuen, vom Verwaltungsgericht festgelegten Zuordnung der Parzelle in die Kernzone K3 zonenkonform und damit rechtmässig; ihre gegenwärtige Nutzung bleibt ohne Weiteres möglich. Der Beschwerdeführer macht zwar keinerlei Pläne namhaft, das bestehende Gebäude abzureissen, doch bliebe es ihm mit der Zuordnung seiner Parzelle in die Kernzone K3 auch möglich, sein zweistöckiges Haus durch ein dreistöckiges zu ersetzen und damit die Nutzung seiner Parzelle zu erhöhen (vgl. die unbestritten gebliebenen Angaben zu den baulichen Massen in E. 5.7.2 des angefochtenen Urteils). Ein vierstöckiges Gebäude vermöchte er nach den willkürfreien Feststellungen der Vorinstanz ohnehin nicht aus eigenen Rechten zu errichten (vgl oben E. 3.1). Insgesamt wird also weder die gegenwärtige noch eine realistischerweise zu erwartende künftige Nutzung der Liegenschaft des Beschwerdeführers beeinträchtigt, geschweige denn verunmöglicht. Der Verlust der eher theoretischen Möglichkeit, künftig eine vierstöckige Baute auf seinem Grundstück zu errichten, erscheint insofern bloss als sehr geringe Beeinträchtigung seiner Nutzungsmöglichkeiten. Vor allem angesichts der unverändert möglichen aktuellen Nutzung seines Grundstücks fällt der Eingriff in die Eigentumsposition des Beschwerdeführers kaum ins Gewicht, weshalb sich das - ebenfalls nicht sehr erhebliche - öffentliche Interesse an der Rückzonung als gewichtiger erweist und überwiegt. Mithin liegt kein unzulässiger Eingriff in die Eigentumsgarantie vor.
5.
Damit erweist sich die Beschwerde als unbegründet. Sie ist abzuweisen.
Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Parteientschädigungen sind nicht zu sprechen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- für das bundesgerichtliche Verfahren werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Gemeinderat der Stadt Zürich, der Baudirektion Kanton Zürich, dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, 3. Kammer, dem Bundesamt für Kultur und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 3. November 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kneubühler
Die Gerichtsschreiberin: Hänni