Sachverhalt:
A.
A._ war Alleinaktionär einer Immobiliengesellschaft mit Sitz in U._, deren sämtliche Aktien er am 27. Mai 2011 für Fr. 47'000'000.-- veräusserte.
B.
Die Grundsteuerkommission U._ würdigte den Verkauf der Aktien der Immobiliengesellschaft als wirtschaftliche Handänderung und auferlegte A._ bezüglich der in der Gemeinde gelegenen Liegenschaften eine Grundstückgewinnsteuer, die sie mit Einspracheentscheid vom 17. Dezember 2013 auf Fr. 693'720.-- festlegte (bei einem Verkaufserlös von Fr. 71'767'500.-- und gesamten Anlagekosten von Fr. 68'272'398.--). Dagegen gelangte der Pflichtige an das Steuerrekursgericht des Kantons Zürich. Dieses hiess das Rechtsmittel am 25. Juli 2017 teilweise gut und reduzierte die Steuer auf Fr. 597'720.--; zwar bestätigte es nach Erstellung eines Gutachtens zur Frage des Verkehrswerts vor 20 Jahren grundsätzlich den Einspracheentscheid, berücksichtigte jedoch neu einen Verlust aus der Handänderung einer in der Stadt Zürich gelegenen Liegenschaft im Betrag von Fr. 480'000.--. Diesen Rekursentscheid bestätigte das Verwaltungsgericht des Kantons Zürich mit Urteil vom 21. Februar 2018.
C.
Am 4. April 2018 hat A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt, den steuerbaren Grundstückgewinn neu auf Fr. 0.-- festzusetzen. Eventuell sei die Vorinstanz anzuweisen, die notwendigen Aufklärungen vorzunehmen, ein Obergutachten einzuholen und den steuerbaren Grundstückgewinn neu festzusetzen.
D.
Die Gemeinde U._, das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich schliessen auf Abweisung der Beschwerde (soweit darauf einzutreten sei). Die Eidgenössische Steuerverwaltung hat darauf verzichtet, einen Antrag zu stellen.
E.
Mit Replik vom 13. Juli 2018 hat A._ an seinen Rechtsstandpunkten festgehalten.

Erwägungen:
1.
1.1. Das angefochtene Urteil ist ein kantonal letztinstanzlicher Entscheid eines oberen Gerichts in einer Angelegenheit des öffentlichen Rechts, die unter keinen der Ausschlussgründe von <ref-law> fällt. Der Steuerpflichtige ist zur Beschwerde legitimiert (<ref-law>). Auf das frist- und formgerecht eingereichte Rechtsmittel ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Verletzung von Grundrechten und von kantonalem Recht (<ref-law>) prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und substanziiert begründet worden ist. Dabei ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern die angerufenen Rechte verletzt worden sein sollen (<ref-law>; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 1.4.2 S. 254).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinn von <ref-law> (<ref-law>). Die betroffene Person muss rechtsgenügend dartun, dass und inwiefern der festgestellte Sachverhalt in diesem Sinn mangelhaft erscheint und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> i.V.m. Art. 42 Abs. 2 und <ref-law>). Rein appellatorische Kritik an der Sachverhaltsermittlung und Beweiswürdigung genügt den Begründungs- und Rügeanforderungen nicht (vgl. <ref-ruling> E. 10.1 S. 445 mit Hinweisen).
2.
2.1. Das Bundesgesetz vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) enthält nur wenige Vorschriften zur Grundstückgewinnsteuer. Vorgeschrieben wird zwar die Erhebung einer solchen Steuer. Das Gesetz bleibt aber hinsichtlich der Ausgestaltung derselben vage und enthält nur wenige Vorgaben an die Kantone.
2.1.1. Es äussert sich namentlich zur Ermittlung des steuerbaren Gewinns nur in allgemeiner Weise. Entsprechend den ihnen belassenen Freiräumen haben die Kantone die Besteuerung der Grundstückgewinne nicht einheitlich geregelt (vgl. <ref-ruling> E. 2.1 S. 384 f. m.w.H.).
2.1.2. In Bezug auf solche kantonale Besonderheiten der Grundstückgewinnsteuer, die in den dem kantonalen Gesetzgeber verbleibenden Gestaltungsraum fallen, stellt sich das jeweilige Grundstückgewinnsteuerrecht als kantonales Recht dar und überprüft das Bundesgericht die Rechtsanwendung nur auf Willkür (vgl. <ref-ruling> E. 3.3 S. 388; <ref-ruling> E. 2 S. 210; <ref-ruling> E. 3.1 S. 205 f.; m.w.H.).
2.2. Der Grundstückgewinnsteuer unterliegen gemäss Art. 12 Abs. 1 StHG Gewinne bei der Veräusserung eines Grundstücks, soweit der Erlös die Anlagekosten (Erwerbspreis oder Ersatzwert zuzüglich Aufwendungen) übersteigt. Der Bundesgesetzgeber hat die prägenden Elemente von Art. 12 Abs. 1 StHG als unbestimmte Rechtsbegriffe ausgestaltet; so werden insbesondere die Begriffe "Erlös", "Anlagekosten" und "Ersatzwert" nicht näher ausgeführt. Insofern überlässt der Bund den Kantonen bei der Umschreibung des steuerbaren Gewinns einen Spielraum. (vgl. <ref-ruling> E. 3.1 S. 387 m.w.H.).
2.2.1. Dem kantonalen Gesetzgeber steht es namentlich weitgehend frei, den Begriff "Ersatzwert" zu bestimmen. Diesbezüglich bestehen keine Koordinationsaufgaben, ebenso wenig ein Bedarf für vertikale Harmonisierung. Der Bundesgesetzgeber hat weder in zeitlicher noch in sachlicher Hinsicht Rahmenbedingungen oder Vorgaben festgelegt, wie die Kantone den Ersatzwert zu definieren haben, geschweige denn eine Verpflichtung der Kantone zur Verkehrswertberechnung. Art. 12 Abs. 1 StHG spricht vom "Ersatzwert", der sich - im Rahmen der Grundrechte, insbesondere der Steuererhebungsprinzipien von <ref-law> - aus dem kantonalen Recht ergibt, und nicht vom "Verkehrswert zu einem vom kantonalen Recht zu bestimmenden Zeitpunkt". (vgl. u.a. die Urteile 2C_540/2017 vom 10. September 2018 E. 2.3.1 in: ASA 87 S. 195 u. 449; 2C_230/2017 vom 26. Januar 2018 E. 2.2.2 in: ASA 86 S. 571; 2C_77/2013 vom 6. Mai 2013 E. 5.2 in: StE 2013 B 44.12.3 Nr. 7).
2.2.2. In Ausführung von Art. 12 Abs. 1 StHG und für den Fall, dass die massgebende Handänderung mehr als zwanzig Jahre zurückliegt, ordnet § 220 Abs. 2 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 (StG/ZH) an, dass die steuerpflichtige Person den Verkehrswert des Grundstücks in Anrechnung bringen darf, der ihm 20 Jahre zuvor zukam. Die steuerpflichtige Person ist mithin berechtigt, nicht aber verpflichtet, den Ersatzwert anstelle des effektiven Erwerbspreises zu beanspruchen. Die Regelung wirkt sich zugunsten der steuerpflichtigen Person aus, da der Verkehrswert vor 20 Jahren in der Regel höher als der tatsächliche Erwerbspreis ist. Diese Möglichkeit bringt es mit sich, dass realisierte Mehrwerte in einem gewissen Umfang (im Rahmen der Differenz zwischen Erwerbspreis und Ersatzwert) nicht besteuert werden. Mit dem "Ersatzwert" werden die Gestehungskosten zu einem bestimmten, vom kantonalen Gesetzgeber festzulegenden Zeitpunkt gesetzlich fingiert (vgl. u.a. die Urteile 2C_540/2017 vom 10. September 2018 E. 2.3.2 in: ASA 87 S. 195 u. 449; 2C_230/2017 vom 26. Januar 2018 E. 2.2.2 u. 2.2.3 in: ASA 86 S. 571; 2C_77/2013 vom 6. Mai 2013 E. 5.2 in: StE 2013 B 44.12.3 Nr. 7; 2C_705/2011 vom 26. April 2012 E. 4.3.3 in: ASA 82 S. 163).
2.2.3. Beansprucht die steuerpflichtige Person den Ersatzwert anstelle des effektiven Erwerbspreises, so ist eine Bewertung des Grundstücks erforderlich. Im Einklang mit der üblichen betriebswirtschaftlichen und zivilrechtlichen Auffassung kann die Norm nicht anders verstanden werden, als dass der historische, objektive, konkrete Wert so treffend als möglich zu erheben ist. In inhaltlicher Hinsicht ist mithin nach dem Verkehrswert zu suchen, in zeitlicher Hinsicht nach dem Verkehrswert am massgebenden Stichtag. Als Verkehrswert wird im Allgemeinen der Wert verstanden, zu welchem eine Sache oder ein Vermögenswert am freien Markt zu einem bestimmten Zeitpunkt veräussert werden kann. Was unter dem unbestimmten Rechtsbegriff des Verkehrswerts zu verstehen ist, stellt eine Rechtsfrage dar, während der Preis, der tatsächlich erzielt wird, eine Tatfrage ist (<ref-ruling>; Urteil 2C_296/2009 vom 11. Februar 2010 E. 3.2 in: StR 65/2010 S. 453; m.w.H.). Entsprechendes gilt für den als Ersatzwert massgebenden "Verkehrswert vor zwanzig Jahren" (vgl. zum Ganzen u.a. das Urteil 2C_705/2011 vom 26. April 2012 E. 4.3.5 in: ASA 82 S. 163).
3.
Vorliegend hat das Verwaltungsgericht erwogen, dass der vor ihm angefochtene Entscheid des kantonalen Steuerrekursgerichts sich als bundesrechtskonform erweist; namentlich ist der massgebliche Verkehrswert vor 20 Jahren zutreffend bemessen.
3.1. Die Vorinstanz hat geurteilt, dass der Verkauf sämtlicher Aktien der Immobiliengesellschaft eine wirtschaftliche Handänderung darstellt, was nicht mehr umstritten ist. Im Streit steht nur noch, wie der Verkehrswert vor 20 Jahren als Ersatzwert (im Sinne von Art. 12 Abs. 1 StHG und § 220 Abs. 2 StG/ZH) zu berechnen ist. Dazu hat das Verwaltungsgericht in allen wesentlichen Punkten auf ein bereits vom Rekursgericht eingeholtes amtliches Gutachten abgestellt, das es im Einklang mit der bundesgerichtlichen Rechtsprechung mit angemessen beschränkter Kognition überprüft hat:
3.1.1. Von einem solchen Gutachten darf nicht ohne zwingende Gründe abgewichen werden. Die erkennende Behörde kann sich deshalb bei der Beweiswürdigung auf die Prüfung beschränken, ob das amtliche Gutachten vollständig, klar, gehörig begründet, frei von Lücken und Widersprüchen ist, auf zutreffenden tatsächlichen Feststellungen beruht sowie ob der Gutachter hinreichende Sachkenntnis und die erforderliche Unbefangenheit gehabt hat (vgl. E. 1.2 des angefochtenen Urteils).
3.1.2. Hinsichtlich der Bewertungsmethodik hat ein oberinstanzliches Gericht einzig zu beurteilen, ob die Vorinstanz oder die begutachtende Fachperson eine Methode gewählt hat, die nachvollziehbar, plausibel, anerkannt ist, in vergleichbaren Fällen verbreitete Anwendung findet, begründetermassen besser oder mindestens ebenso bewährt ist wie andere und den Verhältnissen im konkreten Einzelfall Rechnung trägt (vgl. E. 3.2. des verwaltungsgerichtlichen Urteils; siehe dazu u.a. auch das Bundesgerichtsurteil 2C_309/2013 vom 18. September 2013 E. 2.3.1 in: ASA 82 S. 305; m.w.H.).
3.1.3. In Bezug auf all diese Voraussetzungen hat das Verwaltungsgericht zutreffend erwogen, dass sie beim hier massgeblichen Gutachten als erfüllt zu erachten sind (vgl. dazu u.a. E. 3.2.4 in fine des vorin-stanzlichen Urteils).
3.2. Im Weiteren hat sich die Vorinstanz in allen massgeblichen Einzelpunkten überzeugend und rechtsgenüglich mit dem Gutachten auseinandergesetzt und dessen Bemessungen ausnahmslos bestätigt.
3.2.1. So hat das Gericht insbesondere als richtig erachtet, dass das Gutachten die Verkehrswerte der Liegenschaften getrennt aufgrund der verschiedenen Nutzungen bestimmt und diese Einzelwerte dann zur Bestimmung des totalen Verkehrswertes zusammenführt (E. 3.1 des verwaltungsgerichtlichen Urteils).
3.2.2. Zu Recht hat das Gericht festgehalten, dass die dem Gutachten zugrunde liegende Bewertungsmethode des abgezinsten Zahlungsstroms (bzw. des "Discounted Cash Flow"; sog. "DCF-Methode") sachgerecht, als solche vom Beschwerdeführer nicht bestritten und in Bezug auf Renditeobjekte besonders geeignet ist. Die konkrete Anwendung der DCF-Methode gibt hier in allen strittigen Punkten keinen Anlass zu Beanstandungen, so namentlich die Ermittlung des nachhaltigen Mietzinses (E. 3.2.1 des vorinstanzlichen Urteils), der Zinssatz für die Diskontierung sowie die Kapitalisierung (E. 3.2.2), das angemessene Vorgehen bei der Bemessung angesichts des Fehlens aussagekräftiger Unterlagen zu den Mietzinsen 1991 bis 1995 (E. 3.2.3) und die Berücksichtigung von Instandhaltungskosten (E. 3.2.4).
3.2.3. Gestützt auf das amtliche Gutachten und in Übereinstimmung mit dem vor ihr angefochtenen Entscheid des Steuerrekursgerichts ist die Vorinstanz von einem Verkehrswert vor 20 Jahren von Fr. 66'600'000.-- ausgegangen. Damit liegt die Summe der Kosten des Landerwerbs (Fr. 3'983'320.--) und die anrechenbaren Kosten der Gebäudeerstellung (Fr. 62'941'958.--) mit Fr. 66'925'278.-- über dem Verkehrswert vor 20 Jahren. Daher ist zugunsten des Beschwerdeführers auf diese Summe abzustellen (vgl. E. 2 des angefochtenen Urteils; E. 7d des Entscheids des Steuerrekursgerichts). Das Verwaltungsgericht hat darüber hinaus den Abzug eines zuvor noch nicht berücksichtigten Verlustes aus einer anderen Handänderung bestätigt (vgl. dazu oben Sachverhalt/B.).
4.
Der Beschwerdeführer geht stattdessen von einem Verkehrswert der Liegenschaften vor 20 Jahren von mindestens Fr. 70'850'000.-- aus, wenn nicht sogar von Fr. 74'150'000.-- (gemäss dem für ihn erstellten Parteigutachten); der Grundstückgewinn belaufe sich somit auf Fr. 0.--. Was zugunsten dieser Sichtweise gegen das angefochtene Urteil vorgebracht wird, vermag indessen am Ergebnis der verwaltungsgerichtlichen Beurteilung nichts zu ändern.
4.1. Für das Verfahren vor Bundesgericht hat sich der Beschwerdeführer durch einen anderen Rechtsanwalt vertreten lassen als noch gegenüber dem Verwaltungsgericht. Dieser neue Vertreter hat eine mehr als doppelt so umfangreiche, mehr als 30-seitige Beschwerdeschrift und zudem eine Replik verfasst. Eine beträchtliche Mehrzahl der darin enthaltenen Vorbringen sind tatsächlicher Natur und neu, obwohl sie nicht erst durch das angefochtene Urteil hervorgerufen worden sind. Vielmehr hätten sie bereits gegenüber der Vorinstanz geltend gemacht werden können und müssen. Vor Bundesgericht handelt es sich somit um Noven gemäss <ref-law>, auf die nicht weiter einzugehen ist.
4.1.1. Das bezieht sich namentlich auf folgende Aspekte: Das gerichtliche Gutachten sei nicht unterzeichnet und auch sonst hinsichtlich seiner Autorenschaft unklar, woraus sich aufgrund nicht substanziierter Drittinteressen allfällige Interessenkonflikte ergeben könnten. Die der Expertin gestellte Frage werde im Gutachten nicht beantwortet. Zudem sei es voller Rechnungsfehler, inkonsistent oder faktisch unzutreffend (u.a. bei der Berücksichtigung von Indexierung, Abschlag-Praxis, Inflation, Instandhaltungskosten und Diskontierungssätzen).
4.1.2. Entgegen dem, was in der Replik behauptet wird, handelt es sich nicht um rechtliche, sondern um (primär) faktenbezogene Vorbringen. Viele davon sind auch nicht - was eine konkrete Einzelüberprüfung ergibt - bereits in der Beschwerdeschrift gegenüber dem Verwaltungsgericht oder den dieser Schrift hinzugefügten Beilagen (u.a. in dem bereits gegenüber dem Steuerrekursgericht eingereichten Parteigutachten) enthalten (vgl. zu den verschiedenen Einzelpunkten auch die präzise Aufzählung in der Vernehmlassung der Gemeinde, u.a. hinsichtlich des vor dem Verwaltungsgericht und vor Bundesgericht zu den Instandhaltungskosten Vorgebrachten, siehe dort S. 4 oben).
4.2. Mit den wenigen noch verbleibenden Rügen, bei denen es sich nicht um neue tatsächliche Vorbringen vor Bundesgericht handelt, vermag der Beschwerdeführer nicht darzutun, dass die Beweiswürdigung der Vorinstanz geradezu offensichtlich unzutreffend wäre. Das wäre indessen erforderlich, damit die Feststellungen der Vorinstanz zum Gutachten und den darin enthaltenen Bewertungen für die Bemessung des Verkehrswertes vor 20 Jahren hier nicht verbindlich wäre (vgl. oben E. 1.3). Es sind auch keine Gründe ersichtlich, zusätzliche Abklärungen vorzunehmen oder ein Obergutachten einzuholen.
4.3. Die Beschwerdeschrift und die Replik vor Bundesgericht enthalten nichts, was sich - unabhängig von der vorinstanzlichen Beweiswürdigung und den Sachverhaltsfeststellungen im angefochtenen Urteil - (direkt) mit der rechtlichen Beurteilung auf der Ebene von Art. 12 Abs. 1 StHG bzw. § 220 Abs. 2 StG/ZH auseinandersetzen würde.
Gemäss der Rechtsprechung handelt es sich zwar um eine Rechtsfrage, was unter dem Begriff des "Verkehrswerts vor 20 Jahren" zu verstehen ist, während der Preis, der tatsächlich erzielt wird, sich auf die Tatebene bezieht (vgl. oben E. 3.2.3). Hinsichtlich Besonderheiten der Grundstückgewinnsteuer, die in den dem kantonalen Gesetzgeber verbleibenden Gestaltungsraum fallen, stellt sich das jeweilige Grundstückgewinnsteuerrecht als kantonales Recht dar und überprüft das Bundesgericht die Rechtsanwendung nur auf Willkür (vgl. oben E. 2.1.2). Das betrifft namentlich all das, was im Zusammenhang mit dem Begriff des "Ersatzwerts" (und somit auch des "Verkehrswerts vor 20 Jahren") steht (vgl. oben E. 2.2.1).
Hier geht es indessen nur um Bewertungen und somit nicht darum, ob die juristische Bestimmung des Rechtsbegriffs "Verkehrswert vor 20 Jahren" durch die Vorinstanz als willkürliche Anwendung der massgeblichen Gesetzesbestimmungen qualifiziert werden müsste (was im Übrigen weder dargetan noch sonstwie ersichtlich wäre). Vielmehr handelt es sich ausschliesslich um Tatsachen- und Beweisfeststellungen des Verwaltungsgerichts (vgl. oben E. 4.1 und 4.2); dessen Feststellungen und Bewertungen sind auf jeden Fall nicht geradezu offenkundig unzutreffend (vgl. oben E. 4.2), soweit die Vorbringen sich nicht in unzulässigen Noven erschöpfen (vgl. oben E. 4.1).
5.
5.1. Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen.
5.2. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (vgl. Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 8'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 6. Mai 2019
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter