Sachverhalt:
A.
Der britische Staatsangehörige A.A._ war alleiniger Stockwerkeigentümer einer 41/2- Zimmerwohnung in Zürich-Wollishofen, welche er zusammen mit seiner Schweizer Ehefrau B.A._ bis zum 18. Mai 2010 bewohnte, als er die Schweiz in Richtung Singapur verliess. Am 9. Dezember 2010 veräusserte er die Wohnung zum Preis von Fr. 940'000.--. Am 21. Juni 2011 erwarb B.A._ als alleinige Stockwerkeigentümerin zum Preis von Fr. 1'250'000.-- eine Wohnung in Männedorf, welche sie ab 21. August 2011 mit ihrem inzwischen wieder in die Schweiz zurückgekehrten Ehemann bewohnte.
Am 30. August 2016 auferlegte die Kommission für Grundsteuern der Stadt Zürich A.A._ für den beim Verkauf seiner Wohnung erzielten Grundstückgewinn eine Grundstückgewinnsteuer von Fr. 160'248.--. Die Kommission verweigerte die Gewährung eines Steueraufschubs wegen Ersatzbeschaffung von selbstgenutztem Wohneigentum.
B.
Eine von A.A._ gegen diese Veranlagung erhobene Einsprache wies die Kommission für Grundsteuern der Stadt Zürich am 2. März 2018 ab. Den von A.A._ dagegen erhobenen Rekurs hiess das Steuerrekursgericht des Kantons Zürich am 26. März 2019 gut und gewährte einen Steueraufschub für den gesamten Steuerbetrag von Fr. 160'284.--. Eine von der Stadt Zürich gegen diesen Entscheid erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zürich, 2. Abteilung, am 19. Juni 2019 gut und setzte die Grundstückgewinnsteuer auf Fr. 160'284.-- fest.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 16. August 2019 beantragt A.A._, das Urteil des Verwaltungsgerichts des Kantons Zürich, 2. Abteilung, sei aufzuheben und die Grundstückgewinnsteuer von Fr. 160'284.-- sei aufzuschieben. Das Verwaltungsgericht des Kantons Zürich, 2. Abteilung, das Kantonale Steueramt Zürich und die Stadt Zürich schliessen auf Abweisung der Beschwerde. In seiner unverlangt eingereichten Replik vom 23. September 2019 hält der Beschwerdeführer an seinen Anträgen fest.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten sind erfüllt (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1 und Art. 90 BGG i.V.m. Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG).
1.2.1. Das Bundesgericht prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Steuerinstanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das StHG den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2.1 S. 465; <ref-ruling> E. 2 S. 210; Urteil 2C_288/2018 vom 1. Februar 2019 E. 1.2.1).
1.2.2. Das Bundesgericht kann die Auslegung und Anwendung rein kantonalen (und kommunalen) Verfassungs-, Gesetzes- oder Verordnungsrechts nicht als solche überprüfen, sondern lediglich daraufhin, ob dadurch Bundes-, Völker- oder interkantonales Recht verletzt wird (Art. 95 lit. a, b und e BGG; <ref-ruling> E. 2.1 S. 372). Dabei beschränkt sich die Überprüfung auf die Verletzung verfassungsmässiger Rechte (<ref-ruling> E. 1.3 S. 96), insbesondere auf den Aspekt der Verletzung des Willkürverbots (<ref-law>, <ref-ruling> E. 4.2 S. 516).
Die Verletzung von verfassungsmässigen Rechten (einschliesslich der Grundrechte) und von rein kantonalem Recht prüft das Bundesgericht in jedem Fall nur, soweit eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungsobliegenheit gemäss <ref-law>; <ref-ruling> E. 1.2.2 S. 286). In der Beschwerde ist daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, dass und inwiefern verfassungsmässige Individualrechte verletzt worden sein sollen (<ref-ruling> E. 1.4 S. 5).
2.
2.1. Gemäss Art. 12 Abs. 3 lit. e StHG wird die Grundstückgewinnbesteuerung aufgeschoben, bei "Veräusserung einer dauernd und ausschliesslich selbstgenutzten Wohnliegenschaft (Einfamilienhaus oder Eigentumswohnung), soweit der dabei erzielte Erlös innert angemessener Frist zum Erwerb oder zum Bau einer gleichgenutzten Ersatzliegenschaft in der Schweiz verwendet wird."
Der Streit dreht sich um die Tragweite dieser Bestimmung, genauer: ob den Kantonen ein Freiraum verbleibt, wonach sie für die Anwendbarkeit dieser Bestimmung bzw. für die Gewährung eines Steueraufschubs für die Ersatzbeschaffung einer selbst genutzten Wohnung das Erfordernis der Subjektidentität aufstellen können und wie dieses zu verstehen ist. Der Beschwerdeführer ist der Auffassung, die Vorinstanz habe zu Unrecht einen entsprechenden Spielraum angenommen, ein solcher bestehe nicht. Der Katalog der Steueraufschubtatbestände bei der Grundstückgewinnsteuer im StHG sei abschliessend gehalten und rufe nach einer schweizweit einheitlichen Anwendung. Diese müsse darin bestehen, dass es auch dann zu einem Steueraufschub komme, wenn der eine Ehegatte eine Liegenschaft veräussere und der andere Ehegatte das Ersatzobjekt erwerbe.
2.2. Im Urteil 2C_277/2011 vom 17. Oktober 2011 (in: RDAF 2011 II 522, SJ 2012 I 320, StE 2012 B 42.38 Nr. 34, StR 67/2012 S. 351) hat sich das Bundesgericht zunächst mit der Frage der gemeinsamen Besteuerung von Ehegatten für Grundstückgewinne befasst. Dabei hat es festgestellt, dass es den Kantonen freisteht, Grundstückgewinne, die Ehegatten erzielen, bei der Grundstückgewinnsteuer als Spezialeinkommenssteuer - anders als bei der allgemeinen Einkommenssteuer - getrennt zu besteuern. Art. 3 Abs. 3 StHG sieht ausdrücklich vor, dass Grundstückgewinne selbständig besteuert werden. Deshalb hält sich ein Kanton jedenfalls an den vom StHG gezogenen Rahmen, wenn er einen Ehegatten für einen von ihm erzielten Grundstückgewinn selbständig besteuert. Das Bundesgericht hat offengelassen, ob der in der Literatur vertretenen Auffassung zu folgen ist, wonach es für die Kantone möglich sein soll, beide Ehegatten für einen von einem Ehegatten erzielten Grundstückgewinn gemeinsam zu besteuern (Urteil 2C_277/2011 vom 17. Oktober 2011 E. 4.1). Indem der Kanton Zürich von einem Ehegatten erzielte Grundstückgewinne selbständig besteuert, verletzt er somit den ihm vom StHG gezogenen Rahmen nicht.
2.3. Beim Verkauf eines von einem Ehegatten allein gehaltenen Grundstücks fragt sich weiter, was beim späteren Kauf eines neuen, gemeinsam selbstbewohnten Grundstücks gilt: Ist es für den Steueraufschub erforderlich, dass der Ehegatte, der verkauft hat, nunmehr auch wieder alleine kauft oder kommt es auch dann zum Steueraufschub, wenn beide Ehegatten gemeinsam die neue Liegenschaft erwerben oder wenn, wie hier, der andere Ehegatte diese alleine erwirbt? Mit anderen Worten: Ist von Bundesrechts wegen Subjektidentität (von Veräusserer und Erwerber der Ersatzliegenschaft) verlangt?
2.3.1. Weder dem Text von Art. 12 Abs. 3 lit. e StHG noch den Materialien ist eine Aussage dazu zu entnehmen, ob Subjektidentität verlangt ist: Obwohl der Text ohne Bezugnahme auf den Veräusserer bzw. die Veräusserin und den Erwerber bzw. die Erwerberin der Ersatzliegenschaft formuliert ist, kann er in der Weise interpretiert werden, dass er Subjektidentität verlangt (Urteil 2C_277/2011 vom 17. Oktober 2011 E. 4.2.3). Aber es ist auch eine andere Lesart, die auf die Subjektidentität verzichtet, möglich (2C_277/2011 vom 17. Oktober 2011 E. 4.2.3.1 unter ausdrücklicher Ablehnung der Auffassung von Bastien Verrey, L'imposition différée du gain immobilier: harmonisation fédérale et droit fédéral comparé, 2011, N 246 S. 205 und N 253 S. 210).
Die Ersatzbeschaffung von selbstbewohntem Grundeigentum ist entgegen dem ursprünglichen Vorschlag des Bundesrats erst durch den Ständerat ins Gesetz aufgenommen und - nachdem im Nationalrat ein Vorschlag, die Ersatzbeschaffung nur aus zwingenden Gründen zuzulassen, abgelehnt worden war (vgl. AB NR 1989 49 ff.) - in der vom Ständerat vorgeschlagenen Form Gesetz geworden. In den parlamentarischen Beratungen wurde die Frage nach der Subjektidentität nicht aufgegriffen.
Das Bundesgericht hat offengelassen, ob der in der Literatur geäusserten Ansicht gefolgt werden könne, wonach aus systematischen Gründen davon auszugehen sei, das Bundesrecht verlange Subjektidentität von Veräusserer und Erwerber (Urteil 2C_277/2011 vom 17. Oktober 2011 E. 4.2.3.3). Im Übrigen lässt sich auch angesichts dessen, dass das StHG keine Regeln dazu aufstellt, wie sich der steuerbare Grundstückgewinn bei einem gemeinsamen Verkauf durch Miteigentümer bemisst (Globalbemessung eines Gewinns oder Besteuerung der auf die einzelnen Miteigentümer entfallenden Gewinnanteile) nichts zur hier interessierenden Frage ableiten (Urteil 2C_277/2011 vom 17. Oktober 2011 E. 4.2.3.4).
Das Bundesgericht hat daher im bereits mehrfach angeführten, den Kanton Genf betreffenden Urteil offengelassen, ob das Bundesrecht Subjektidentität verlangt und gleichzeitig festgestellt, dass eine kantonale Regelung, welche die Subjektidentität von Veräusserer und Erwerber verlangt, (jedenfalls) nicht bundesrechtswidrig ist (Urteil 2C_277/2011 vom 17. Oktober 2011 E. 4.2.4). In <ref-ruling> E 2.2.4 S. 210 f. wurde dieses Urteil allerdings irrtümlich so dargestellt, als habe dort das Bundesgericht die Frage, ob ein Ehepaar gesamthaft als Veräusserer bzw. Erwerber zu betrachten sei, als der freien bundesgerichtlichen Kognition unterliegend betrachtet. Das ist hier richtig zu stellen.
2.3.2. Die erwähnte Auslegung von Art. 12 Abs. 3 lit. e StHG läuft entgegen der in der Literatur vereinzelt geäusserten Kritik (Christian Chillà/ Danielle Axelroud Buchmann, Identité de propriétaire en cas de report d'imposition du gain immobilier privé selon Art. 12 al. 3 let. e LHID, StR 67/2012 S. 341 ff.; vgl. dagegen Hugo Casanova, ASA 81 S 351) nicht auf eine mechanische, den wirtschaftlichen Gegebenheiten zu wenig Rechnung tragende Anwendung der Bestimmung hinaus. Zwar mag in einzelnen Fällen, wo ein Ehegatte verkauft und der andere die neue selbstbewohnte Liegenschaft erwirbt, der Verkäuferehegatte auch an der Finanzierung der neuen Wohnung beteiligt oder zumindest in diese eingebunden sein (z.B. durch Übernahme einer Solidarbürgschaft gegenüber einer den Erwerb finanzierenden Bank). Zum einen haben es aber die Ehegatten selbst in der Hand, durch die von ihnen gewählte Rechtsgestaltung den Ersatzbeschaffungstatbestand zu verwirklichen. Zum anderen erweist sich ein formales Kriterium wie das Anknüpfen an die zivilrechtlichen Eigentumsverhältnisse in der Handhabung des Ersatzbeschaffungstatbestands als wesentlich einfacher und praktikabler, als wenn die Steuerbehörden beim Verkauf und Erwerb durch Ehegatten jeweils auch die Finanzierung der entsprechenden Kauf- und Verkaufsgeschäfte zu untersuchen hätten.
Entgegen dem Beschwerdeführer verletzt der angefochtene Entscheid daher, jedenfalls soweit die Gesetzgebung des Kantons Zürich für den hier zu beurteilenden Fall eines "Überkreuzerwerbs" die Möglichkeit einer Ersatzbeschaffung nicht zulässt, kein Bundesrecht.
3.
Fragen kann sich damit lediglich noch, ob die Vorinstanz bei der Anwendung von § 216 Abs. 3 lit. i des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 (StG/ZH; LS 631.1), welcher, soweit hier erheblich, gleich lautet wie Art. 12 Abs. 3 lit. e StHG, in Willkür verfallen ist oder sonst verfassungsmässige Rechte des Beschwerdeführers verletzt hat.
3.1. Der Beschwerdeführer wirft der Vorinstanz zunächst vor, sie habe in einer anderen Konstellation - Verkauf durch einen Ehegatten und späterer gemeinsamer Erwerb eines Ersatzobjekts durch die Ehegatten - eine Ersatzanschaffung im Wesentlichen mit wirtschaftlichen Überlegungen begründet, indem sie es habe genügen lassen, dass der veräussernde Ehegatte nunmehr auch die neue Wohnung - zusammen mit dem Veräusserer / der Veräusserin - bewohnt. Es sei widersprüchlich, eine Ersatzbeschaffung zuzulassen, wenn sich am Ersatzobjekt beide Ehegatten beteiligten, hingegen sie dann zu verweigern, wenn der Ehegatte, welcher nicht Veräusserer des ersatzbeschafften Grundstücks gewesen sei, alleine das Ersatzobjekt erwerbe.
Entgegen der Auffassung des Beschwerdeführers gibt es sachliche Gründe, den Fall, in dem zwar die veräusserte Liegenschaft nur einer Person gehörte, diese aber das Ersatzobjekt gemeinsam mit ihrem (unter Umständen neuen) Ehegatten erwirbt, anders zu behandeln als den hier streitigen "Überkreuzerwerb". Für die Umsetzung des gesetzgeberischen Anliegens der Förderung der Mobilität genügt es, worauf schon die Vorinstanz zutreffend hingewiesen hat, wenn das Ersatzobjekt mit den durch die Veräusserung freiwerdenden Mitteln wieder vom gleichen Familienmitglied erworben wird, allein oder zusammen mit dem Ehepartner. Ausserdem kann mit der Zulassung der gemeinsamen Ersatzbeschaffung ausreichend der Situation Rechnung getragen werden, bei der die Ehegatten erst beim Kauf der Ersatzliegenschaft ein Paar bilden und dann auch gemeinsam das Ersatzgrundstück erwerben. Einer Ausdehnung der Ersatzbeschaffung auf den "Überkreuzerwerb" bedarf es dafür nicht.
3.2. Als unbegründet erweisen sich auch die übrigen Vorbringen in der Beschwerde, soweit sie überhaupt ausreichend substanziiert sind (<ref-law>).
Entgegen der Auffassung des Beschwerdeführers spielen familienrechtliche Überlegungen für die Auslegung von Art. 12 Abs. 3 lit. e StHG und § 216 Abs. 3 lit. i StG/ZH keine Rolle. Die Bestimmung von <ref-law> führt zwar zu gewissen Verfügungsbeschränkungen bei der Familienwohnung, jedoch nicht zu einer eigentümerähnlichen Stellung des nicht im Grundbuch eingetragenen Ehegatten. Auch die Überlegungen der Vorinstanz zur Haftung für die Steuerforderung (bei Zulassung des "Überkreuzerwerbs" als Ersatzbeschaffungstatbestand fehlende Solidarhaft des Veräusserers für die aufgeschobene Steuer beim Verkauf des Ersatzobjekts durch den Erwerber) sind, auch wenn sie kaum als tragend für den Entscheid anzusehen sind, jedenfalls ohne weiteres nachvollziehbar. Entgegen dem Beschwerdeführer ist es im Übrigen nicht unhaltbar, dem Aspekt der Durchsetzbarkeit einer steuergesetzlichen Regelung bei deren Auslegung ein gewisses Gewicht beizumessen; es darf davon ausgegangen werden, dass der Gesetzgeber keine nur schwer durchsetzbaren Lösungen gesetzlich verankern wollte.
4.
Die Beschwerde ist unbegründet und abzuweisen. Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Kosten des Verfahrens (<ref-law>). Es ist keine Parteientschädigung geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 5'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. Februar 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Klopfenstein