Sachverhalt:
A.
A._ ist Eigentümer der Parzelle Kat.-Nr. RI4148 an der Billrothstrasse 18 in Zürich 8, auf welchem sich ein Ende des 19. Jahrhunderts erstelltes Mehrfamilienhaus mit Werkstattanbau befindet. Die Liegenschaft ist Bestandteil der historistischen Blockrandbebauung "Schloss Neumünster", welche im Westen an den Hainerweg, im Norden an die Billrothstrasse und im Osten an die Forchstrasse grenzt. Nach Süden, zur Näfgasse hin, bildet sie einen offenen Hinterhof. Am 18. Juli 2018 bewilligte die Bausektion der Stadt Zürich A._ den Umbau und die Aufstockung des Werkstattgebäudes unter verschiedenen Nebenbestimmungen. Mit der Begründung, das Projekt halte nicht alle Grenzabstände ein, verpflichtete sie ihn unter anderem in Dispositiv-Ziffer I.1.a), entweder im Sinne ihrer Erwägungen abgeänderte Baupläne einzureichen oder aber den Nachweis zu erbringen, dass er über definitive Näherbaurechte zu den Nachbarparzellen Kat.-Nrn. RI2813 und RI2814 verfüge. In Dispositiv-Ziffer I.1.e) verpflichtete sie ihn zudem, abgeänderte Pläne für eine um 31m2 reduzierte Ausnützung einzureichen.
Am 29. März 2019 hiess das Baurekursgericht des Kantons Zürich den Rekurs von A._ teilweise gut und hob die Dispositiv-Ziff. I.1.a) und I.1.e) des Bauentscheids auf; im Übrigen wies es den Rekurs ab.
Am 23. Oktober 2019 hiess das Verwaltungsgericht des Kantons Zürich die Beschwerde der Stadt Zürich gegen den Entscheid des Baurekursgerichts gut und hob ihn insoweit auf, als er die Dispositiv-Ziff. I.1.a) des Bauentscheids aufgehoben hatte. Es stellte den Bauentscheid diesbezüglich wieder her.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, den Entscheid des Verwaltungsgerichts aufzuheben und denjenigen des Baurekursgerichts zu bestätigen oder eventuell die Sache an die Vorinstanz oder ans Baurekursgericht zurückzuweisen zu weiteren Sachverhaltsabklärungen.
C.
Das Verwaltungsgericht verzichtet auf Vernehmlassung. Die Stadt Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
A._ hält in seiner Replik an der Beschwerde fest.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer Angelegenheit des öffentlichen Rechts. Dagegen steht die Beschwerde nach <ref-law> offen; ein Ausnahmegrund ist nicht gegeben (<ref-law>). Der Beschwerdeführer ist als dessen Adressat und Grundeigentümer befugt, ihn anzufechten. Er rügt die Verletzung von Bundesrecht, was zulässig ist (<ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
2.
Umstritten ist, ob der Beschwerdeführer sein Bauprojekt ohne die Einräumung eines Näherbaurechts der Nachbarn ausführen darf oder nicht.
2.1. Das Verwaltungsgericht hat im angefochtenen Entscheid (E. 6 S. 7 f.) erwogen, nach § 49 Abs. 1 des kantonalen Planungs- und Baugesetzes (PBG) seien die Gemeinden befugt, in der Bau- und Zonenordnung u.a. Regelungen über offene und geschlossene Bauweise zu erlassen. Der für die Stadt Zürich einschlägige Art. 7 der Bau- und Zonenordnung (BZO) regle die Geschlossene Überbauung. Nach dessen Abs. 1 sei das Zusammenbauen erlaubt. Nach Abs. 2 sei der Grenzbau mit der Zustimmung des Nachbarn erlaubt. Dessen Zustimmung sei nicht erforderlich, wenn an ein Gebäude innerhalb des bestehenden Profils angebaut werde oder die geschlossene Bauweise vorgeschrieben sei. Diese Bestimmung sei insoweit klar, als von der nachbarlichen Zustimmung nur abgesehen werden könne, wenn an ein Gebäude innerhalb des bestehenden Profils angebaut werden könne. Profil bedeute im allgemeinen Sprachgebrauch Seitenansicht oder Umriss. Somit habe das anzubauende Gebäude den Umriss der bestehenden Grenzbaute zu beachten, dürfe mithin kleiner sein als diese, aber keinesfalls grösser: der Umriss der bestehenden Grenzbaute sei sowohl in vertikaler wie horizontaler Hinsicht massgebend und vom Nachbarn zu respektieren. Zu dieser Beurteilung sei im Übrigen auch das Baurekursgericht in einem Urteil vom 2. Juli 1999 bei der Auslegung der inhaltlich im Kern übereinstimmenden Vorgängerbestimmung von Art. 7 BZO gekommen (angefochtenes Urteil E. 5.2 S. 6). Aus der Zulässigkeit von Grenzbauten ergebe sich im Übrigen entgegen der Auffassung des Baurekursgerichts nicht, dass die Gebäude- und Grenzabstände ausser Kraft gesetzt seien, die projektierte Aufstockung des Werkstattanbaus habe daher den kommunalen Grenzabstand einzuhalten (angefochtenes Urteil E. 6.3 S. 8).
Nach der Auffassung des Verwaltungsgerichts gelten gemäss Art. 13 Abs. 2 lit. a BZO für das Bauvorhaben die kantonalen Abstandsvorschriften, d.h. für die rückwärtige Seite ein Grundgrenzabstand von 5 m und ein kantonaler Mindestgrenzabstand von 3,5 m zum Nachbargrundstück (§ 270 Abs. 1 BG). Das Mehrfamilienhaus und der Werkstattanbau, der aufgestockt werden soll, stellten baurechtlich eine Einheit dar, weil letzterer, anders als im ursprünglichen Zustand, nicht mehr über eine eigenständige interne Erschliessung verfüge. Damit sei die Westfassade die Hauptfassade, da u.a. der Haupteingang am Hainerweg liege. Dementsprechend gelte die gegen den Hinterhof gerichtete Ostfassade als rückwärtig und die Südfront des Werkstattanbaus als seitlich. Daraus folge, dass die rückwärtige Fassade gegenüber den östlich angrenzenden Parzellen Kat.-Nrn. RI2814 und RI2813 einen Grundgrenzabstand von 5 m einzuhalten habe; dazu komme eine Mehrhöhenzuschlag von 2,35 m, womit sich der einzuhaltende Grenzabstand auf 7,35 m vergrössere. Der Werkstattanbau halte zur Parzelle Kat-Nr. RI2814 einen Grenzabstand von 3,20 bis 3,60 m und zur Parzelle Kat-Nr. RI2813 einen solchen von 3,60 bis 5,20 m ein. Der nach Art. 13 Abs. 2 lit. a BZO geforderte Grenzabstand werde somit offensichtlich nicht eingehalten, weshalb sich die von der Baubewilligungsbehörde statuierte Nebenbestimmung, entweder entsprechend abgeänderte Pläne einzureichen oder Näherbaurechte der betroffenen Grundeigentümer beizubringen, als rechtens erweise.
2.2. Der Beschwerdeführer wirft dem Verwaltungsgericht insbesondere vor, die historische Situation der Überbauung "Schloss Neumünster" zu verkennen. Das denkmalpflegerische Gutachten vom 6. Mai 2016 halte diesbezüglich fest, für diese sei im Oktober 1896 die Baubewilligung mitsamt den gegenseitigen Grenz- und Näherbaurechten erteilt worden.
Diese Einschätzung ist klarerweise zutreffend, die Baubewilligung für die sich über vier Parzellen erstreckende Blockrandbebauung setzt offenkundig die gegenseitige Einräumung der entsprechenden Grenz- und Näherbaurechte voraus. Es ist somit davon auszugehen, dass diese bestanden und immer noch bestehen. Das bedeutet, dass auch zu Gunsten des Werkstattanbaus, unabhängig davon, ob man ihn baurechtlich als eigenständiges Gebäude oder als Anbau an das Hauptgebäude Billrothstrasse 18 einstuft, ein Näherbaurecht zu Lasten der Parzellen Kat.-Nrn. RI2813 und RI2814 besteht; ein Grenzbau liegt in diesem Bereich nicht vor. Fraglich kann nur der Umfang des Näherbaurechts sein, ob die umstrittene Aufstockung den Rahmen dieser Servitut sprengt oder nicht. Das ist allerdings eine privatrechtliche Fragestellung, die nicht im baurechtlichen Verfahren zu klären ist, sondern gegebenenfalls auf Betreiben der belasteten Nachbarn in einem Zivilverfahren.
Die Bewilligungsfähigkeit des Bauprojektes wurde in diesem Punkt einzig vom angeblich notwendigen, aber fehlenden Näherbaurecht abhängig gemacht. Öffentlich-rechtliche Hindernisse gegen die Baubewilligung bestehen nach der Auffassung der Baubewilligungsbehörde somit keine. Für das Verwaltungsgericht haben die zur Diskussion stehenden Abstandsvorschriften zwar nicht nur nachbarschützende, sondern auch planerische Funktionen, sollen sie doch städtebaulich problematische Übergänge - insbesondere an der Grenze zu einer weniger dichten Zone - verhindern. Diese Überlegung mag durchaus zutreffen, spielt in concreto aber keine Rolle, weil die Baubehörde das Projekt vorbehältlich der Beibringung von Näherbaurechten bewilligte, sie dessen Schicksal damit allein von der Zustimmung bzw. Ablehnung der Nachbarn abhängig machen wollte. Es ist damit nicht erkennbar, welche schützenswerten öffentlich-rechtlichen Interessen die Stadt mit der Anfechtung des Entscheids des Baurekursgerichts verfolgte. Es kann im Übrigen wohl auch nicht behauptet werden, dass es bei der hier zur Diskussion stehenden Blockrandbebauung, bei der sämtliche Aussenfassaden bündig angebaut sind, planerisch von Vorteil wäre, wenn der Beschwerdeführer die Ostfassade des geplanten Aufbaus zurücksetzen müsste. Das Verwaltungsgericht ist im Ergebnis in Willkür verfallen, indem es die Beschwerde der Stadt schützte.
2.3. Nicht Gegenstand des bundesgerichtlichen Verfahrens sein kann eine vom Beschwerdeführer vorgeschlagene Projektänderung - er will den Werkstattanbau mit einer eigenständigen internen Erschliessung ausstatten -, da es nicht Sache des Bundesgerichts sein kann, derartige Projektänderungen als erste Instanz zu beurteilen.
3.
Die Beschwerde ist somit gutzuheissen und der angefochtene Entscheid aufzuheben. Damit sind keine Gerichtskosten zu erheben (<ref-law>). Einen Anspruch auf Parteientschädigung hat der eigenhändig prozessierende Beschwerdeführer nicht.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zürich vom 23. Oktober 2019 aufgehoben.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, der Stadt Zürich und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 29. April 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Störi