Erwägungen:
1.
1.1. A._ hatte steuerrechtlichen Wohnsitz in U._/ZH, wo er Eigentümer einer Stockwerkeinheit war, die er selbst bewohnte. Er hielt das Objekt in seinem Privatvermögen und veräusserte es am 1. Juli 2010 zum Preis von Fr. 12'750'000.-- an einen unabhängigen Dritten.
Nachdem es zu Verzögerungen gekommen war, konnte er ein Ersatzobjekt erst im Juni 2015 erwerben, nämlich Stockwerkeigentum mit sechs Einstellhallenplätzen in V._/SZ. Der Kaufpreis belief sich auf Fr. 13'600'000.--. Das Objekt ist in 16 Einheiten aufgeteilt und verfügt über eine Bruttogeschossfläche von insgesamt 2'888,2 m2.
1.2. Am 12. September 2012 verfügte die Gemeinde U._ gegenüber A._ eine Grundstückgewinnsteuer von Fr. 2'866'160.--. Der Entscheid erwuchs in Rechtskraft. Am 20. April 2016 wies die Gemeinde ein Gesuch des Betroffenen um Aufschub der Grundstückgewinnsteuer trotz des inzwischen erfolgten Erwerbs des Ersatzobjekts ab, nachdem sie die Eingabe als Revisionsgesuch behandelt hatte.
1.3. Gegen den Entscheid der Gemeinde erhob A._ erfolglos Einsprache und ergriff daraufhin die ihm auf kantonaler Ebene zur Verfügung stehenden Rechtsmittel, ohne damit durchzudringen. Mit Eingabe vom 30. Oktober 2017 hat er Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt, das kantonal letztinstanzliche Urteil des Verwaltungsgerichts des Kantons Zürich vom 20. September 2017 aufzuheben und die Grundstückgewinnsteuer revisionsweise auf Fr. 0.-- festzusetzen.
1.4. Es sind die vorinstanzlichen Akten beigezogen, aber keine Vernehmlassungen eingeholt worden. Die Sache ist im vereinfachten Verfahren gemäss <ref-law> zu beurteilen. Für die Begründung kann im Wesentlichen auf das angefochtene Urteil verwiesen werden.
2.
2.1. Das angefochtene Urteil wurde von einer kantonal letztinstanzlich zuständigen Gerichtsbehörde erlassen. Es enthält einen Entscheid in einer Angelegenheit des öffentlichen Rechts, welcher unter keinen Ausschlussgrund nach <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht angefochten werden kann (<ref-law> i.V.m. Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]; <ref-law>). Der Beschwerdeführer ist gestützt auf <ref-law> i.V.m. Art. 73 Abs. 2 StHG zur Beschwerde legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist einzutreten (Art. 42 und 100 BGG).
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht und Völkerrecht gerügt werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>).
3.
3.1. Der Grundstückgewinnsteuer unterliegen Gewinne, die sich bei Veräusserung eines Grundstückes des Privatvermögens oder eines land- oder forstwirtschaftlichen Grundstückes sowie von Anteilen daran ergeben, soweit der Erlös die Anlagekosten (Erwerbspreis oder Ersatzwert zuzüglich Aufwendungen) übersteigt (Art. 12 Abs. 1 StHG; vgl. auch § 216 Abs. 1 des Steuergesetzes des Kantons Zürich vom 8. Juni 1997; StG/ZH). Die Besteuerung wird aufgeschoben bei Veräusserung einer dauernd und ausschliesslich selbstgenutzten Wohnliegenschaft (Einfamilienhaus oder Eigentumswohnung), soweit der dabei erzielte Erlös innert angemessener Frist zum Erwerb oder zum Bau einer gleichgenutzten Ersatzliegenschaft in der Schweiz verwendet wird. (Art. 12 Abs. 3 lit. e StHG; vgl. inhaltlich gleichlautend, mit Bezug auf den Kanton Zürich § 216 Abs. 3 lit. i StG/ZH).
3.2. Auf diese Bestimmungen hat sich das Verwaltungsgericht gestützt und erwogen, dass hier wohl unter den besonderen Umständen des Einzelfalls vom Erwerb einer Ersatzliegenschaft "innert angemessener Frist" gesprochen werden kann (vgl. E. 2.1 des vorinstanzlichen Urteils), nicht aber vom Kauf eines gleich- bzw. selbstgenutzten Objekts. Diese Beurteilung vermag in allen Punkten zu überzeugen.
3.2.1. Hier beschränkt sich der vom Beschwerdeführer wirklich privat selbstgenutzte Teil (Maisonette-Wohnung im ersten und zweiten Obergeschoss von Gebäude C) auf kaum mehr als 200 m2, gegenüber einer Gesamtfläche von beinahe 2900 m2 (vgl. E. 2.1 des angefochtenen Urteils). Der dem tatsächlich selbstbewohnten Teil der Liegenschaft entsprechende Erwerbspreis beläuft sich also bei weitem nicht auf Fr. 12'750'000.--, wie dies nach der massgeblichen, sog. absoluten Methode erforderlich wäre, damit eine den Steueraufschub rechtfertigende Ersatzbeschaffung angenommen werden könnte (vgl. ebenda, E. 2.6).
3.2.2. Unbeachtlich bleiben müssen namentlich die vom Beschwerdeführer für seine Kunstsammlung genutzten Ausstellungsräume. Wie die Vorinstanz zutreffend festgehalten hat, handelt es sich dabei gemäss der von der Gemeinde gewährten Baubewilligung um Flächen, die der gewerblichen Nutzung vorbehalten sind. Das erweist sich für die hier vorzunehmende Beurteilung als zwingend, auch wenn eine private Nutzung zonenkonform zulässig wäre und soweit ersichtlich der Bezeichnung im Kaufvertrag entspricht. Auch diesbezüglich - wie für die Auseinandersetzung mit den anderen Einwendungen des Betroffenen - kann auf das angefochtene Urteil verwiesen werden (vgl. dort E. 2.2 sowie E. 2.4 und 2.5, wo zahlreiche Gegenargumente entkräftet werden).
3.3. Vor Bundesgericht bringt der Beschwerdeführer nichts vor, was in irgendeiner Weise geeignet wäre, die vom Verwaltungsgericht getroffenen Feststellungen hinsichtlich der tatsächlichen Wohnsituation als offensichtlich unrichtig erscheinen zu lassen (vgl. oben E. 2.2).
Die Beschwerdeschrift beschränkt sich im Wesentlichen darauf, einen einzigen Punkt der vorinstanzlichen Beurteilung in Zweifel ziehen zu wollen: die zwingende Verbindlichkeit der Auflagen in der Baubewilligung der Gemeinde, wonach die (für die Ausstellung der Kunstsammlung verwendeten) massgeblichen Räume einer gewerblichen Nutzung vorbehalten sind. Die diese Verbindlichkeit in Frage stellende Argumentation vermag nicht durchzudringen. Unbehelflich sind insbesondere die Ausführungen, mit denen die durch die Gemeinde erteilte Baubewilligung in dem Sinne umgedeutet werden soll, dass in Wirklichkeit gar keine gewerbliche Nutzung vorgeschrieben worden sei. Es ist nicht ersichtlich, wie die diesbezüglich dem angefochtenen Urteil zugrunde liegenden Feststellungen der Vorinstanz offensichtlich unrichtig oder die sich darauf stützenden rechtlichen Erwägungen bundesrechtswidrig sein sollten.
Nicht weiter einzugehen ist schliesslich auf die Vorbringen des Beschwerdeführers, soweit er sich nicht mit dem hier einzig anfechtbaren Urteil auseinandersetzt, sondern mit demjenigen der vorausgehenden kantonalen Instanz.
4.
Nach dem Gesagten ist die Beschwerde im Verfahren nach <ref-law> abzuweisen und wird der Beschwerdeführer kostenpflichtig (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 18'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 28. Februar 2018
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Zünd
Der Gerichtsschreiber: Matter