Sachverhalt:
A.
Die Ehegatten A.A._ und B.A._ (nachfolgend auch Steuerpflichtige) hatten im Jahr 2001 in U._/GR eine Ferienwohnung erworben. Im Jahr 2006 kauften sie in derselben Gemeinde für Fr. 1 Mio. ein weiteres Grundstück. Das sich darauf befindliche Einfamilienhaus bauten sie für rund Fr. 4 Mio. in ein Luxusferienhaus um und veräusserten es im Juni 2008 für Fr. 9 Mio. Mit Urteil 2C_1273/2012 vom 13. Juni 2013 bestätigte das Bundesgericht eine selbständige Erwerbstätigkeit im Rahmen eines gewerbsmässigen Liegenschaftenhandels.
B.
B.a. Am 1. November 2006 erwarben die Steuerpflichtigen für Fr. 1.2 Mio. ein weiteres Ferienhaus in V._/GR. Dieses bauten sie bis Ende Juli 2008 für Fr. 4.2 Mio. ebenfalls in ein Luxusobjekt um. Nachdem sie es während rund zweieinhalb Jahren selbst bewohnt hatten, verkauften sie es im Dezember 2010 für Fr. 13 Mio.
B.b. Das Steueramt des Kantons Zürich veranlagte die Steuerpflichtigen in der Folge am 5. Februar 2015 für die direkte Bundessteuer 2010 mit einem steuerbaren Einkommen von Fr. 6'480'500.--. Dabei wurde ihnen der Gewinn aus dem Verkauf des Ferienhauses in V._/GR als Einkommen aus gewerbsmässigem Liegenschaftenhandel aufgerechnet.
B.c. Die dagegen erhobene Einsprache hiess das kantonale Steueramt am 9. Oktober 2015 teilweise gut und setzte den erzielten Gewinn um zusätzliche Anlagekosten auf Fr. 5'998'320.-- und damit das steuerbare Einkommen auf Fr. 6'159'300.-- herab. Das Steuerrekursgericht des Kantons Zürich wies die hiergegen erhobene Beschwerde mit Entscheid vom 20. April 2016 ab. Dieser wurde vom Verwaltungsgericht des Kantons Zürich mit Urteil vom 24. August 2016 bestätigt.
C.
Mit Eingabe vom 13. Oktober 2016 erheben die Steuerpflichtigen Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, das angefochtene Urteil sei aufzuheben, auf die Aufrechnung eines Einkommens aus selbständiger Erwerbstätigkeit von Fr. 5'998'320.-- zu verzichten und das steuerbare Einkommen für die direkte Bundessteuer 2010 auf Fr. 161'019.-- festzusetzen. Eventualiter, für den Fall, dass auf einen steuerbaren Liegenschaftenhandel geschlossen werde, sei ein allfälliger Gewinn aus dem Verkauf der mitverkauften Kunstgegenstände sowie aus dem mitverkauften Mobiliar, weil nicht zum Geschäftsvermögen gehörend, nicht in den steuerbaren Kapitalgewinn miteinzubeziehen. Subeventualiter seien die Anlagekosten der mitverkauften antiken Möbel sowie des mitverkauften Hausrats als dem Verkaufserlös entsprechend anzuerkennen, womit ein Verkaufsgewinn entfalle.
Das Bundesgericht hat die Akten des kantonalen Verfahrens, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Endentscheid (<ref-law>) in einer öffentlich-rechtlichen Angelegenheit (<ref-law> i.V.m. <ref-law> [SR 642.11]) des kantonal letztinstanzlichen Verwaltungsgerichts (<ref-law>). Ein Ausschlussgrund gemäss <ref-law> liegt nicht vor. Die Beschwerdeführer sind durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280). In Bezug auf die Verletzung von Grundrechten, insbesondere des Willkürverbots, gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>). In der Beschwerde ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 2.2 S. 232).
1.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die tatsächlichen Feststellungen der Vorinstanz nur berichtigen oder ergänzen, soweit sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (Art. 97 und 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-ruling> E. 5.1 S. 356; <ref-ruling> E. 2.5 S. 314). Rein appellatorische Kritik an der Sachverhaltsermittlung und an der Beweiswürdigung genügt den Begründungs- bzw. Rügeanforderungen nicht (<ref-ruling> E. 10.1 S. 445).
1.4. In Bezug auf die Beweislast gilt Folgendes: Der Nachweis für steuerbegründende oder steuererhöhende Tatsachen obliegt der Steuerbehörde, der Nachweis für steueraufhebende oder steuermindernde Tatsachen der steuerpflichtigen Person; diese hat die entsprechenden Tatsachen also nicht nur zu behaupten, sondern auch zu belegen (<ref-ruling> E. 3.5 S. 252 mit Hinweisen).
2.
Die Steuerpflichtigen rügen einerseits eine offensichtlich unrichtige Sachverhaltsfeststellung, indem die Vorinstanz eine in ihrer Gesamtheit auf Erwerb gerichtete Tätigkeit angenommen hat. Andererseits machen sie geltend, diese habe das einschlägige Bundesrecht, Art. 18 Abs. 1 und 2 DBG sowie <ref-law>, verletzt, da sie zu Unrecht auf gewerbsmässigen Liegenschaftenhandel statt auf einen steuerfreien privaten Kapitalgewinn geschlossen habe. Die gerichtliche Beweiswürdigung, selbst wenn sie auf Indizien beruht, und die sich daraus ergebenden tatsächlichen Schlussfolgerungen fallen unter die Tatfragen (vgl. <ref-ruling> E. 6.1 S. 485; <ref-ruling> E. 3.3 S. 399). Rechtsfrage ist hingegen, ob eine selbständige Erwerbstätigkeit oder eine private Vermögensverwaltung vorliegt. Diese prüft das Bundesgericht mit voller Kognition (<ref-law>), während die zugrunde liegenden vorinstanzlichen Sachverhaltsfeststellungen als Tatfragen nur einer eingeschränkten Überprüfung zugänglich sind (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; E. 1.2 f. hievor; <ref-ruling> E. 2 S. 236).
3.
3.1. Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme der Kapitalgewinne aus der Veräusserung von Privatvermögen (<ref-law>; <ref-ruling> E. 2.1 S. 365 f.; <ref-ruling> E. 3.1 S. 421 f.). Steuerbar sind alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit (<ref-law>). Dazu zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen. Der Veräusserung gleichgestellt ist unter anderem die Überführung von Geschäfts- in Privatvermögen. Als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen (vgl. <ref-law>; BGE <ref-ruling> E. 3.2 S. 422).
3.2. Für den Begriff der selbständigen Erwerbstätigkeit kennzeichnend ist die Tätigkeit einer natürlichen Person, mit der diese auf eigenes Risiko, unter Einsatz der Produktionsfaktoren Arbeit und Kapital, in einer von ihr frei gewählten Arbeitsorganisation, dauernd oder vorübergehend, haupt- oder nebenberuflich, in jedem Fall aber mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Untergeordnete Anhaltspunkte sind etwa die Beschäftigung von Personal, das Ausmass der Investitionen, ein vielfältiger, wechselnder Kundenstamm und das Vorliegen eigener Geschäftsräumlichkeiten (<ref-ruling> E. 5b S. 120 f. [direkte Bundessteuer]; <ref-ruling> E. 2.4.2 S. 256 f. [Mehrwertsteuer]; <ref-ruling> E. 3.1 S. 252 f. [AHV]). Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (BGE <ref-ruling> E. 2.4.2 S. 257 f.; <ref-ruling> E. 5b S. 120 f.).
3.3. Auch der Handel mit Vermögenswerten, die dem Privatvermögen entnommen werden, kann unter Umständen eine selbständige (Neben-) Erwerbstätigkeit begründen (Urteil 2C_1273/2012 vom 13. Juni 2013 E. 2.2, in: StE 2013 B 23.1 Nr. 79, ASA 82 S. 72, mit zahlreichen Hinweisen auf die Rechtsprechung). Steuerbarer gewerbsmässiger Liegenschaftenhandel im Sinne einer selbständigen Erwerbstätigkeit liegt gemäss bundesgerichtlicher Praxis dann vor, wenn die steuerpflichtige Person An- und Verkäufe von Liegenschaften systematisch und mit der Absicht der Gewinnerzielung vornimmt. Erforderlich ist die Entwicklung einer Tätigkeit, die in ihrer Gesamtheit auf Erwerb gerichtet ist (<ref-ruling> E. 6a S. 124; <ref-ruling> E. 3b S. 449 f.). Als Indizien kommen in Betracht: Die systematische bzw. planmässige Art und Weise des Vorgehens (aktives, wertvermehrendes Tätigwerden durch Parzellierung, Überbauung, Werbung usw.; Erwerb in der offenkundigen Absicht, die Liegenschaft möglichst rasch mit Gewinn weiterzuverkaufen; Ausnützung der Marktentwicklung), die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die kurze Besitzesdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte, die Verwendung der erzielten Gewinne bzw. deren Wiederanlage in gleichartige Vermögensgegenstände oder die Realisierung der Gewinne im Rahmen einer Personengesellschaft (vgl. Urteile 2C_1204/2013 vom 2. Oktober 2014 E. 2.3, in: StE 2015 B 23.1 Nr. 82; 2C_1273/2012 vom 13. Juni 2013 E. 2.2, in: StE 2013 B 23.1 Nr. 79, ASA 82 S. 72; je mit Hinweisen).
3.4. Keine selbständige Erwerbstätigkeit bzw. kein gewerbsmässiger Immobilienhandel liegt vor, wenn lediglich das eigene Vermögen verwaltet wird, insbesondere etwa durch die Vermietung eigener Liegenschaften. Daran ändert nichts, wenn das Vermögen umfangreich ist, professionell verwaltet wird und kaufmännische Bücher geführt werden (Urteile 2C_1204/2013 vom 2. Oktober 2014 E. 2.4, in: StE 2015 B 23.1 Nr. 82; 2C_948/2010 vom 31. Oktober 2011 E. 2.5, in: StE 2012 B 23.2 Nr. 40; je mit Hinweisen).
3.5. Die Zuordnung eines Vermögenswerts zum Geschäftsvermögen setzt eine selbständige Erwerbstätigkeit voraus (BGE <ref-ruling> E. 4.2 S. 255). Als Vermögenswerte in diesem Sinne gelten die Aktiven ebenso wie die Verbindlichkeiten. Ausschlaggebend für die Zuweisung ins Geschäftsvermögen ist die tatsächlich ausgeübte technisch-wirtschaftliche Funktion des betreffenden Vermögenswerts. Verlangt wird, dass der Vermögenswert tatsächlich der selbständigen Erwerbstätigkeit dient (<ref-law> bzw. Art. 8 Abs. 2 StHG; BGE <ref-ruling> E. 3.2 S. 422; <ref-ruling> E. 4c/aa S. 354 f.), sei es unmittelbar durch seine Beschaffenheit oder als Sicherheit für Betriebskredite, sei es mittelbar als notwendiges Betriebskapital oder als Betriebsreserve (BGE 70 I 257 E. 3 S. 261). Höchstens von untergeordneter Bedeutung sind das Erwerbsmotiv, die Mittelherkunft oder die buchhalterische Behandlung (<ref-ruling> E. 1 S. 467; Urteil 2C_1273/2012 vom 13. Juni 2013 E. 2.3, in: StE 2013 B 23.1 Nr. 79, ASA 82 S. 72).
Dieselben Kriterien herrschen im Bereich von Liegenschaften, soweit sie aufgrund ihrer Beschaffenheit überhaupt geeignet sind, sowohl dem Privat- als auch dem Geschäftsvermögen anzugehören; auch hier entscheidet in erster Linie die tatsächliche technisch-wirtschaftliche Funktion über die Massenzuweisung (BGE <ref-ruling> E. 3.3 S. 422 f.). Selbstbewohntes Wohneigentum dient der Privatnutzung. Schon vor längerer Zeit hat das Bundesgericht festgehalten, die "Villa des Kaufmanns und sein Hausrat" seien, ungeachtet einer etwaigen Aufnahme in die Buchhaltung, zum Privatvermögen zu rechnen (BGE 70 I 257 E. 3 S. 261), ebenso ein Ferienhaus (<ref-ruling> E. 2. S. 468). Selbst eine Wohnung in einer Betriebsliegenschaft, die vom Einzelunternehmer bewohnt wird, ist nur noch ausnahmsweise als Geschäftsvermögen zu betrachten (BGE <ref-ruling> E. 4.5 S. 426).
Die Ferienwohnung oder das Ferienhaus bilden kein notwendiges Privatvermögen in dem Sinne, dass sie ausschliesslich Privatvermögen darstellen können: Dienen sie einer natürlichen Person über die private Nutzung hinaus auch, unmittelbar oder mittelbar, aber überwiegend zur Ausübung der selbständigen Erwerbstätigkeit, zieht dies nach der Präponderanzmethode die Zugehörigkeit zum Geschäftsvermögen nach sich (<ref-law>; Urteil 2C_1273/2012 vom 13. Juni 2013 E. 2.3, in: StE 2013 B 23.1 Nr. 79, ASA 82 S. 72 mit Hinweisen).
4.
Zu prüfen ist, ob das Vorgehen der Beschwerdeführer als selbständige Erwerbstätigkeit zu betrachten ist und es sich beim streitbetroffenen Grundstück um ein solches des Geschäftsvermögens handelt.
4.1.
4.1.1. Die Vorinstanz hat festgehalten, dass im Unterschied zur Liegenschaft in U._ der Fremdfinanzierungsgrad für das hier strittige Objekt in V._, ausgehend von einem üblichen Ansatz von zwei Dritteln bei Ferienobjekten oder Zweitwohnsitz, relativ gering sei. Allerdings sei die Fremdfinanzierung lediglich deshalb so tief gehalten worden, weil der Umbau der Liegenschaft mit dem Erlös aus dem Verkauf des Hauses in U._ im Juni 2008 habe finanziert werden können. Damit sei ein aus einem gewerbsmässigen Liegenschaftenhandel erzielter Gewinn direkt in den Umbau eines weiteren Objekts investiert worden, was ein starkes Indiz dafür darstelle, dass die Beschwerdeführer weiterhin im Immobiliensektor tätig sein wollten. Da diese bereits beim Verkauf der erstgenannten Liegenschaft vorgebracht hätten, diese aus einer finanziellen Notlage heraus verkauft haben zu müssen, seien sie mit der Reinvestition in ein weiteres kostspieliges Projekt ein eigentliches Unternehmerrisiko eingegangen, das über die blosse private Vermögensverwaltung hinausgehe.
Dagegen bringen die Beschwerdeführer einzig vor, das Projekt in V._ sei aus damaliger Sicht kein finanzielles Risiko gewesen, sondern habe einfach den Verkauf des Projekts in U._ bedingt. Indem die Vorinstanz auf eine generelle finanzielle Notlage und ein Unternehmerrisiko betreffend das Projekt in V._ geschlossen habe, verkenne sie ganz augenscheinlich die dargelegten Fakten. Die Beschwerdeführer bestreiten indessen nicht, den Erlös aus dem Verkauf der Liegenschaft in U._ in den Umbau der neu erworbenen Liegenschaft in V._ investiert zu haben. Weiter führen sie selber an, mit dem Kauf der Liegenschaft in V._ sei der Verkauf der Liegenschaft in U._ bedingt gewesen, da sie nicht gleichzeitig drei Ferienliegenschaften in Graubünden hätten halten können. Zudem hätten sie sich aufgrund der in Folge des Verlusts der Arbeitsstelle verschlechterten wirtschaftlichen Situation gezwungen gesehen, die Liegenschaft in V._ im Jahr 2010 zu verkaufen. Angesichts dieser Sachlage können die Feststellungen der Vorinstanz keineswegs als offensichtlich unhaltbar bezeichnet werden. Vielmehr durfte diese die erneute Investition des Erlöses in die Liegenschaft in V._ als Indiz für eine selbständige Erwerbstätigkeit werten (vgl. <ref-ruling> E. 3c S. 118 und 6a S. 124; Urteil 2A.74/2003 vom 8. September 2004 E. 3.2, in: StE 2004 B 91.3 Nr. 4, RDAF 2005 II S. 37, StR 60/2005 S. 53).
4.1.2. Weiter kann auch die Feststellung im angefochtenen Urteil, die Beschwerdeführer hätten Arbeit und vor allem Kapital in einem weit über eine private Vermögensverwaltung hinausgehenden Mass eingesetzt, nicht als offensichtlich unrichtig bezeichnet werden. Nebst dem sie teilweise gleichzeitig drei Ferienimmobilien im Kanton Graubünden besassen, kauften die Beschwerdeführer in den Jahren 2004 bis 2010 ein Einfamilienhaus in W._, veräusserten ein Baurecht in S._ und erwarben eine Liegenschaft in T._, die sie durch einen Neubau ersetzten und zum Teil als Stockwerkeigentum weiter veräusserten. Wie das Bundesgericht bereits im Verfahren 2C_1273/2012 bestätigt hat, gehen alleine die Zahl und zeitliche Abfolge der Käufe und Verkäufe der im Privatvermögen gehaltenen Wohnhäuser deutlich über das Mass dessen hinaus, was als üblich gelten kann (vgl. Urteil 2C_1273/2012 vom 13. Juni 2013 E. 3.5, in: StE 2013 B 23.1 Nr. 79, ASA 82 S. 72). Dass die Beschwerdeführer die Immobilien teilweise selber bewohnt haben, vermag daran nichts zu ändern.
4.1.3. Soweit die Beschwerdeführer vorbringen, dass sie die Liegenschaft in V._ nach ihren eigenen Vorstellungen um- und ausgebaut hätten, spreche - anders als die Vorinstanz suggeriere - gerade für den Ausbau als Feriendomizil und damit für die Zugehörigkeit der streitbetroffenen Liegenschaft zum Privatvermögen, ist darauf mangels rechtsgenügender Rüge nicht weiter einzugehen (vgl. E. 1.3). Dasselbe gilt in Bezug auf das weitere, ebenfalls weitgehend appellatorische Vorbringen, die Vorinstanz habe ihre finanzielle (Not-) Lage verkannt. Im Übrigen anerkennen sie selber, das Haus in U._ verkauft haben zu müssen, da es ihre finanziellen Verhältnisse nicht erlaubt hätten, neben der Wohnung in U._ gleich zwei weitere Feriendomizile in derselben Region zu halten (vgl. bereits vorstehende E. 4.1.1).
4.1.4. Schliesslich ist auch nicht zu beanstanden, dass die Vorinstanz die Gewinnstrebigkeit bejaht hat. Die Beschwerdeführer konnten das aufwendig umgebaute Haus in U._ aus finanziellen Gründen nicht mehr halten. Dennoch bauten sie das streitbetroffene Haus in V._ kurze Zeit später ebenfalls in ein Luxusobjekt um, um es nach bereits vier Jahren wieder zu verkaufen und dabei einen Gewinn von rund Fr. 5 Mio. zu erwirtschaften. Es ist mit der Vorinstanz davon auszugehen, dass eine einzig zu privaten Zwecken erstandene Immobilie bei angespannten finanziellen Verhältnissen nicht zu einem Luxusobjekt umgebaut würde. Nichts anderes gilt in Bezug auf die vorinstanzlichen Feststellungen hinsichtlich einer planmässigen und nachhaltigen Teilnahme am wirtschaftlichen Verkehr: Bereits im Urteil 2C_1273/2012 vom 13. Juni 2013 bestätigte das Bundesgericht die vertieften Kenntnisse der Beschwerdeführer in der Baubranche und im Immobilienmarkt und damit ein insgesamt überdurchschnittliches Wissen, das sie einbrachten (vgl. Urteil 2C_1273/2012 vom 13. Juni 2013 E. 3.5, in: StE 2013 B 23.1 Nr. 79, ASA 82 S. 72). Die Beschwerdeführer bringen nichts vor, was die vorinstanzliche Feststellung als willkürlich erscheinen liesse. Ihre Rüge geht somit auch insofern fehl.
4.1.5. Die Vorinstanz durfte somit zu Recht davon ausgehen, dass die vorliegenden Indizien insgesamt für die Annahme einer selbständigen Erwerbstätigkeit der Beschwerdeführer im Sinne von Art. 18 Abs. 1 und 2 DBG sprechen (vgl. E. 3.2 f.).
4.2.
4.2.1. Was die Zuordnung der Liegenschaft sowie des mitverkauften Inventars zum Geschäftsvermögen betrifft, wiederholen die Beschwerdeführer erneut, die Liegenschaft in U._ nicht aus einer finanziellen Notlage heraus verkauft zu haben. Hierzu kann auf die obigen Erwägungen verwiesen werden (E. 4.1.1, 4.1.3). Die Schlussfolgerung der Vorinstanz, das Ferienhaus habe von Anfang an als Handelsobjekt gedient und stelle Geschäftsvermögen dar, ist nach dem Dargelegten nicht zu beanstanden. Entsprechendes muss für die als Einheit mitverkauften Einrichtungsgegenstände, die Teil des beurkundeten Kaufvertrags bildeten, gelten. Entgegen dem Eventualbegehren der Beschwerdeführer sind diese daher nicht dem Privatvermögen zuzuweisen und bilden keinen steuerfreien Gewinn im Sinne von <ref-law>.
4.2.2. Subeventualiter beantragen die Beschwerdeführer, dass die Anlagewerte des Mobiliars den Veräusserungserlösen gleichzusetzen seien. Der früheste Zeitpunkt für die Überführung der mitverkauften Möbel und des Hausrats in das Geschäftsvermögen sei der Zeitpunkt des Verkaufs der Liegenschaft in V._ gewesen. In diesem Zeitpunkt aber hätten die mitverkauften Gegenstände den Wert gemäss erzieltem Verkaufspreis gehabt. Es sei offensichtlich willkürlich, den Anlagewert des Mobiliars auf Fr. 0.-- festzusetzen.
Gemäss den verbindlichen Feststellungen der Vorinstanz wurde im öffentlich beurkundeten Vertrag vom 4. Dezember 2010 ein Kaufpreis von Fr. 13'000'000.-- vereinbart. Darin wurden pauschal Fr. 500'000.-- für Mobiliar separat ausgewiesen. Die Vorinstanz hat detailliert aufgeführt, welche Beträge in ihrem Verfahren noch umstritten waren. Dabei handelte es sich einzig noch um die Kosten für die antiken Möbel (Fr. 185'000.--), den Hausrat (Fr. 50'000.--) und die Differenz von Fr. 2'000.-- für die "Bilder Y._". Wenn die Beschwerdeführer dagegen einzig vorbringen, es sei offensichtlich unrichtig, den Anlagewert der mitverkauften antiken Möbel und des Hausrats auf Fr. 0.-- festzusetzen, erweist sich ihre Rüge als appellatorisch und damit unbegründet. Es wäre an ihnen gelegen darzulegen, inwiefern sich die Schlüsse der Vorinstanz, welche sich mit den einzelnen Gegenständen auseinandergesetzt hatte, als unrichtig erweisen sollen. Insbesondere hätten sie, ihrer Mitwirkungspflicht nachkommend, die verlangten Auskünfte und Belege einreichen und für eine genügende Schätzungsgrundlage sorgen müssen. Sie haben somit die Folgen der Beweislast zu tragen (vgl. E. 1.4).
4.2.3. Damit erweisen sich auch der Eventual- und der Subeventualantrag als unbegründet und sind abzuweisen.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern aufzuerlegen, wobei diese untereinander solidarisch haften (Art. 65, Art. 66 Abs. 1 und 5 BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 12'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Abteilung, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 25. Juli 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Die Gerichtsschreiberin: Fuchs