Sachverhalt:
A. X._, geboren 1949, war in den Jahren 2004 und 2005 mit 300 der insgesamt 500 Namenaktien an der V._ AG beteiligt und fungierte als deren Verwaltungsratsmitglied und Geschäftsführer. Die übrigen 200 Namenaktien gehörten der (inzwischen verstorbenen) Präsidentin des Verwaltungsrates Z._. Der Zweck der Gesellschaft bestand in der Organisation und Durchführung von Auktionen sowie im Handel mit Antiquitäten und Kunstgegenständen. X._ ist zudem Gesellschafter und Geschäftsführer der W._ Sagl, deren Zweck in der Akquisition und im Verkauf von Kunstgegenständen besteht. Aus einer - der Steuerklärung 2004 beigelegten - Inventarliste ergab sich, dass X._ im Jahr 2004 einen Anteil von 40 % an einer Skulptur des Schweizer Bildhauers Alberto Giacometti zum Preis von Fr. 1'200'000.-- an Z._ veräussert hatte. Die verbleibenden 60 % an der Skulptur wurden mit Fr. 180'000.-- in der Inventarliste eingesetzt.
Das kantonale Steueramt Zürich schätzte die Eheleute X._ und Y._ am 9. Januar 2008 für die Staats- und Gemeindesteuern 2004 mit einem steuerbaren Einkommen von Fr. 1'202'700.-- und einem steuerbaren Vermögen von Fr. 3'125'000.-- bzw. am 1. Februar 2008 für die direkte Bundessteuer 2004 mit einem steuerbaren Einkommen von Fr. 1'203'600.-- ein.
B. Das Steueramt wies am 28. März 2008 die jeweils separat gegen die Veranlagungen 2004 und 2005 erhobenen Einsprachen ab. Es stellte sich auf den Standpunkt, die Differenz von Fr. 1'080'000.-- zwischen dem Verkaufserlös des Anteils von 40 % an der Giacometti-Skulptur von Fr. 1'200'000.-- und dem deklarierten anteiligen Steuerwert von Fr. 120'000.-- (von total Fr. 300'000.--) bilde steuerbares Einkommen aus selbständiger Erwerbstätigkeit. Ausserdem rechnete es die für 2004 geltend gemachten Krankheitskosten wegen Nichterreichens des gesetzlichen Selbstbehalts auf.
Die hiergegen von X._ und Y._ erhobene Beschwerde bzw. den Rekurs hiess die Steuerrekurskommission I des Kantons Zürich am 21. April 2009 - im Wesentlichen in Bezug auf die später nicht mehr angefochtene Veranlagung 2005 - teilweise gut. Sie setzte für die direkte Bundessteuer 2004 das steuerbare Einkommen auf Fr. 1'203'600.-- bzw. für die Staats- und Gemeindesteuern 2004 das steuerbare Einkommen auf Fr. 1'202'700.-- und das steuerbare Vermögen auf Fr. 2'851'000.-- fest.
C. Das Verwaltungsgericht des Kantons Zürich hiess die von den Steuerpflichtigen dagegen erhobene Beschwerde mit zwei separaten Entscheiden vom 20. Januar 2010 teilweise gut und wies die Sache zur weiteren Untersuchung und zum Neuentscheid im Sinne der Erwägungen an die Steuerrekurskommission zurück. Das Verwaltungsgericht erwog, der Gewinn aus der Veräusserung der Giacometti-Skulptur sei als privater Kapitalgewinn nicht der Besteuerung zu unterwerfen. In Bezug auf die Frage, ob der Selbstbehalt die Krankheitskosten übersteige, wurde die Steuerrekurskommission angewiesen, die Prüfung der Abzugsfähigkeit der Krankheitskosten im 2. Rechtsgang nachzuholen. Die Steuerrekurskommission hiess danach die Beschwerde bzw. den Rekurs im 2. Rechtsgang mit Entscheid vom 6. April 2010 teilweise gut und veranlagte die Steuerpflichtigen für die direkte Bundessteuer 2004 mit einem steuerbaren Einkommen von Fr. 112'700.-- bzw. für die Staats- und Gemeindesteuern 2004 mit einem steuerbaren Einkommen von Fr. 111'700.-- und einem steuerbaren Vermögen von Fr. 3'325'000.--. Gegen diesen Entscheid erhob das Kantonale Steueramt am 4. Mai 2010 Beschwerde an das Verwaltungsgericht und machte geltend, die Veräusserung der Giacometti-Skulptur sei als Einkommen aus selbständiger Erwerbstätigkeit zu würdigen. Mit zwei separaten Entscheiden vom 25. August 2010 wies das Verwaltungsgericht des Kantons Zürich die Beschwerde ab, soweit es darauf eintrat.
D. Mit Eingabe vom 5. Oktober 2010 erhebt das Kantonale Steueramt Beschwerde beim Bundesgericht. Es beantragt, die angefochtenen Entscheide des Verwaltungsgerichts vom 20. Januar 2010 (1. Rechtsgang) und vom 25. August 2010 (2. Rechtsgang) seien betreffend die Staats- und Gemeindesteuern 2004 und die direkte Bundessteuer 2004 aufzuheben; die Steuerpflichtigen seien in Bezug auf die Staats- und Gemeindesteuern 2004 auf ein steuerbares Einkommen von Fr. 1'202'700.-- bzw. ein steuerbares Vermögen von Fr. 2'851'000.-- und in Bezug auf die direkte Bundessteuer 2004 auf ein steuerbares Einkommen von Fr. 1'203'600.-- einzuschätzen.
Die Beschwerdegegner und das Verwaltungsgericht stellen Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei, während die Eidgenössische Steuerverwaltung auf Gutheissung der Beschwerde schliesst.

Erwägungen:
1. 1.1 Die vorliegende Beschwerde richtet sich gegen zwei praktisch übereinstimmende Urteile, betrifft dieselben Parteien und wirft identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerde in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Bei den angefochtenen Entscheiden (vom 25. August 2010) handelt es sich um kantonal letztinstanzliche Endentscheide über die Staats- und Gemeindesteuern bzw. die direkte Bundessteuer. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 73 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) und § 154 Abs. 1 des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 (StG/ZH; LS 631.1) bzw. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht grundsätzlich offen. Die Beschwerde ist unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer gemäss Art. 73 Abs. 2 StHG bzw. <ref-law> in Verbindung mit <ref-law> legitimierten Behörde eingereicht worden.
1.3 Die Beschwerdegegner bringen jedoch vor, auf die Beschwerde sei wegen verspäteter Einreichung nicht einzutreten: Das Verwaltungsgericht habe bereits im Entscheid vom 20. Januar 2010 (im 1. Rechtsgang) abschliessend über die Frage befunden, ob der beim Verkauf der Giacometti-Skulptur erzielte Kapitalgewinn der Einkommensbesteuerung unterliege oder nicht, womit in dieser Frage ein anfechtbarer End- bzw. Teilentscheid vorliege. Selbst wenn aber die Meinung vertreten werde, beim Rückweisungsentscheid vom 20. Januar 2010 handle es sich nicht um einen End- bzw. Teilentscheid, sei auf die vorliegende Beschwerde nicht einzutreten, weil der Entscheid vom 20. Januar 2010 auch als selbständig eröffneter Zwischenentscheid vom Steueramt bereits hätte angefochten werden müssen.
1.3.1 Ein Rückweisungsentscheid schliesst das Verfahren nicht ab und ist somit nach der Regelung des BGG kein Endentscheid. Auch Rückweisungsentscheide, mit denen eine materielle Grundsatzfrage entschieden wird, sind keine Teilentscheide im Sinne von <ref-law>, da es sich dabei nicht um Entscheide über Begehren handelt, die unabhängig von den anderen Fragen beurteilt werden können. Es handelt sich dabei um Zwischenentscheide, die (nur, aber immerhin) unter den Voraussetzungen von Art. 92 oder <ref-law> selbstständig angefochten werden können (<ref-ruling> E. 4.2 S. 481 f.).
Hier hat das Verwaltungsgericht mit Entscheid vom 20. Januar 2010 zwar über einige materiellrechtliche Teilfragen, nicht jedoch über das Rechtsbegehren auf Veranlagung zu einem steuerbaren Einkommen bzw. Vermögen in bestimmter Höhe entschieden, weshalb das Urteil keinen End- bzw. Teilentscheid nach Art. 90 und 91 BGG, sondern bloss einen Zwischenentscheid darstellen kann (vgl. Urteile 2C_420/2008 vom 3. Februar 2009 E. 4.2, in: StE 2010 A 23.21 Nr. 2; 2C_258/2008 vom 27. März 2009 E. 3.2, in: StE 2009 B 96.21 Nr. 14). Ebenso wenig kann gesagt werden, der vorliegende Rückweisungsentscheid müsse hier ausnahmsweise wie ein Endentscheid behandelt werden, weil der unteren Instanz, an welche die Sache zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibe (<ref-ruling> E. 1.3 S. 127).
1.3.2 Die Frage, ob es sich beim Rückweisungsentscheid der Vorinstanz vom 20. Januar 2010 um einen selbständig anfechtbaren Vor- oder Zwischenentscheid (<ref-law>) handelt, kann offen gelassen werden: Gemäss <ref-law> sind nämlich für den Fall, dass von der Beschwerde kein Gebrauch gemacht wurde, die betreffenden Vor- und Zwischenentscheide durch Beschwerde gegen den Endentscheid anfechtbar, soweit sie sich auf dessen Inhalt auswirken (vgl. <ref-ruling> E. 5.2.3 S. 484). Hier hat der Zwischenentscheid (Verneinung der selbständigen Erwerbstätigkeit sowie Rückweisung zur Prüfung der Abzugsfähigkeit der Krankheitskosten) ohne Weiteres Auswirkung auf den Endentscheid, weshalb <ref-law> auf den vorliegenden Sachverhalt angewendet werden kann.
1.3.3 Im Ergebnis ist somit die Anfechtung des Entscheides des Verwaltungsgerichts vom 25. August 2010 (2. Rechtsgang) in Bezug auf die hier interessierende Frage des gewerbsmässigen Kunsthandels durch das Steueramt rechtzeitig erfolgt, weshalb auf die Beschwerde einzutreten ist.
1.4 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, soweit er nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG).
1.5 Die hier zur Anwendung gelangenden bundesrechtlichen und kantonalen Vorschriften über die selbständige Erwerbstätigkeit sind harmonisiert und stimmen in den relevanten Punkten überein, weshalb es sich für den Beschwerdeführer erübrigte, für die Staats- und Gemeindesteuern und für die direkte Bundessteuer zwei unterschiedliche Begründungen für die Beschwerde abzufassen (<ref-ruling> E. 1.3.2 S. 263).
I. Direkte Bundessteuer
2. 2.1 Nach <ref-law> unterliegen alle wiederkehrenden und einmaligen Einkünfte der Einkommenssteuer. Der Gesetzgeber hat damit an dem bereits in Art. 21 Abs. 1 des Bundesratsbeschlusses vom 9. Dezember 1940 über die Erhebung einer direkten Bundessteuer (BdBSt) enthaltenen Grundsatz der Gesamtreineinkommensbesteuerung festgehalten. Steuerfrei sind nach <ref-law> die Kapitalgewinne aus der Veräusserung von Privatvermögen. Damit bestätigt das Gesetz ausdrücklich, was schon unter dem Bundesratsbeschluss über die Erhebung einer direkten Bundessteuer Gültigkeit hatte. <ref-law> bestimmt, dass alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie jeder anderen selbständigen Erwerbstätigkeit steuerbar sind. Zu den Einkünften aus selbständiger Erwerbstätigkeit gehören nach <ref-law> auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen (<ref-ruling> E. 4a S. 119).
Wie das Bundesgericht erkannt hat, wollte der Gesetzgeber die Besteuerung der Einkünfte aus selbständiger Erwerbstätigkeit im Vergleich zum früheren Recht nicht einschränken. Er hat vielmehr bewusst eine Erweiterung gegenüber dem bisherigen Recht vorgenommen, indem er die Kapitalgewinnsteuerpflicht aufgrund von <ref-law> auf den gesamten Bereich der selbständigen Erwerbstätigkeit, d.h. auf alle Gegenstände des Geschäftsvermögens, ausgedehnt hat, während sie nach bisherigem Recht aufgrund von Art. 21 Abs. 1 lit. d und f BdBSt auf buchführungspflichtige Unternehmen beschränkt war (<ref-ruling> E. 5c S. 121 f. mit Hinweis).
2.2 Nach bisheriger und ständiger Praxis des Bundesgerichts zu Art. 21 Abs. 1 lit. a BdBSt unterliegen Gewinne aus der Veräusserung von Vermögensgegenständen - namentlich Liegenschaften, Wertpapieren, Edelmetallen und Devisen (vgl. zu anderen Wertanlagen E. 2.5 hiernach) - als Erwerbseinkommen der direkten Bundessteuer, wenn dabei eine Tätigkeit entfaltet wird, die in ihrer Gesamtheit auf Erwerb gerichtet ist (vgl. statt vieler: <ref-ruling> E. 3c S. 450 mit Hinweisen). Diese Praxis gilt grundsätzlich auch für das Bundesgesetz über die direkte Bundessteuer (<ref-ruling> E. 5 S. 120 ff.). Demnach sind steuerfreie private Kapitalgewinne im Sinne von <ref-law> nur diejenigen Gewinne, die im Rahmen der schlichten Verwaltung privaten Vermögens entstehen, also ohne besondere, in ihrer Gesamtheit auf Erwerb gerichtete Tätigkeit des Steuerpflichtigen, oder bei einer sich zufällig bietenden Gelegenheit (<ref-ruling> E. 5e S. 123; letztmals bestätigt mit Urteil 2C_403/2009 vom 1. März 2010 E. 2.4, in: StE 2011 B 23.1 Nr. 69).
2.3 Ob einfache Vermögensverwaltung oder auf Erwerb gerichtete Tätigkeit vorliegt, ist unter Berücksichtigung der gesamten Umstände des Einzelfalls zu beurteilen. Als Indizien für eine selbständige Erwerbstätigkeit fallen nach der konstanten und langjährigen Praxis etwa in Betracht: Systematische oder planmässige Art und Weise des Vorgehens, Häufigkeit der Transaktionen, kurze Besitzdauer, enger Zusammenhang mit der beruflichen Tätigkeit der steuerpflichtigen Person, Einsatz spezieller Fachkenntnisse oder erheblicher fremder Mittel zur Finanzierung der Geschäfte, Verwendung der erzielten Gewinne bzw. deren Wiederanlage in gleichartige Vermögensgegenstände. Jedes dieser Indizien kann zusammen mit andern, unter Umständen jedoch auch allein zur Annahme einer selbständigen Erwerbstätigkeit im Sinne von <ref-law> ausreichen. Dass einzelne typische Elemente einer selbständigen Erwerbstätigkeit im Einzelfall nicht erfüllt sind, kann durch andere Elemente kompensiert werden, die besonders ausgeprägt vorliegen. Entscheidend ist, dass die Tätigkeit in ihrem gesamten Erscheinungsbild auf Erwerb ausgerichtet ist (<ref-ruling> E. 3c S. 118 f.). In einem neueren Entscheid (Urteil 2C_868/2008 vom 23. Oktober 2009 E. 2.7, in: StE 2010 B. 23.1 Nr. 68) hat das Bundesgericht seine Praxis dahin gehend präzisiert, dass beim Wertschriftenhandel - wo die Verhältnisse allerdings etwas anders liegen als beim Liegenschaften- oder Kunsthandel - die systematische und planmässige Vorgehensweise sowie der Einsatz spezieller Fachkenntnisse nur noch eine untergeordnete Bedeutung haben; dagegen sind die Kriterien der Höhe des Transaktionsvolumens und der Einsatz erheblicher fremder Mittel stärker zu gewichten.
2.4 Entgegen der Auffassung der Vorinstanz (vgl. angefochtener Entscheid E. 2.2 und 2.5.6.2), welche an einer - von der bundesgerichtlichen Praxis offensichtlich abweichenden - eigenständigen Definition der selbständigen Erwerbstätigkeit festhalten will, ist hingegen insbesondere nicht entscheidend, ob die steuerpflichtige Person am wirtschaftlichen Verkehr nach aussen hin sichtbar teilnimmt oder nicht (<ref-ruling> E. 3b S. 450 mit Hinweis, letztmals bestätigt mit Urteil 2C_868/2008 vom 23. Oktober 2009 E. 2.4 und 3.4, in: StE 2010 B. 23.1 Nr. 68; vgl. dazu auch FELIX RICHNER, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahr 2009 für natürliche Personen, ASA 79 S. 736, wonach die erwähnte bundesgerichtliche Praxis für die direkte Bundessteuer somit in allen Kantonen anzuwenden sei). Die Vorinstanz begründet diese Anforderung nur damit, die Teilnahme am Wirtschaftsverkehr sei zentrales Merkmal der selbständigen Erwerbstätigkeit; darunter sei Teilnahme am marktmässigen Austausch von Gütern oder Dienstleistungen zu verstehen. Indessen verlangt der Gesetzeswortlaut nicht Marktauftritt, sondern Erwerbstätigkeit. Wohl mögen typischerweise die meisten selbständig Erwerbstätigen gegen aussen sichtbar auftreten, schon nur um damit Kunden zu werben; unabdingbar oder wesensgemäss mit dem Begriff der Erwerbstätigkeit verbunden ist dies jedoch nicht. Es gibt durchaus Geschäftsbereiche, in denen eine grösstmögliche Diskretion angestrebt wird (z.B. Vermögensverwaltung, Sicherheitsbereich, gewisse Beratungstätigkeiten) und deshalb ein Auftreten gegen aussen bewusst vermieden wird. Daraus kann keineswegs geschlossen werden, es liege keine Erwerbstätigkeit vor.
Die eigenständige Definition der selbständigen Erwerbstätigkeit durch die Vorinstanz ist mit der bundesgerichtlichen Praxis nicht zu vereinbaren und die entsprechenden Erwägungen im angefochtenen Entscheid sind demnach ausdrücklich zu verwerfen.
2.5 Im vorliegenden Fall geht es weder um Liegenschaften- noch um Wertschriftenhandel, sondern um den Verkauf von Kunstgegenständen aus einer Sammlung. Auch Kunstgegenstände eignen sich als Wertanlage, und der Handel damit kann zu einem - unter Umständen lukrativen - Nebenerwerb führen. Die Kriterien der zum Liegenschaften- und Wertschriftenhandel entwickelten Rechtsprechung können sinngemäss auch auf den Verkauf von Kunstgegenständen angewendet werden. Zu berücksichtigen sind freilich die damit verbundenen Besonderheiten (vgl. Urteile 2C_893/2008 vom 10. August 2009 E. 2.3, in: StR 64/2009 S. 892 betr. Verkauf einer Plakatsammlung ["affiches anciennes"]; 2C_708/2007 vom 19. Mai 2008 E. 3.2, in: StR 63/2008 S. 889 betr. Verkauf von Antiquitäten [Bilder, Spiegel, Möbel und Kleingegenstände]; 2A.66/2002 vom 17. September 2002 E. 2.3, in: ASA 73 S. 308 betr. Verkauf eines Teils eines Weinlagers).
Eine solche Besonderheit liegt etwa darin, dass bei Anlagen in Wertpapieren oder in Liegenschaften (mit Ausnahme von Bauland) nicht nur mit dem Wiederverkauf, sondern auch mit Annuitätsgewinnen (Zinsen, Dividenden, Mietzinsen usw.) ein Erlös erzielt werden kann, während bei Sammlungen in der Regel lediglich ein Wiederverkauf zu einem allfälligen Gewinn führt. Eine Sammlung dient sodann eher langfristigen Zwecken und ist mit einem gewissen persönlichen Aufwand verbunden. Dass ein Erlös versteuert werden muss, wenn die Sammlung auf Gewinn angelegt ist, rechtfertigt sich - im Vergleich zu den Wertpapieren oder Liegenschaften (ausser Bauland) - grundsätzlich um so mehr, als keine jährlichen Erlöse versteuert werden. Freilich sind dabei gewinnstrebige Tätigkeiten von solchen abzugrenzen, die der reinen Liebhaberei zugerechnet werden müssen und als blosses Hobby ohne Gewinnabsicht ausgeübt werden. Bei einem allfälligen Verkauf der Sammlung ist jedoch nur dann von einem steuerfreien privaten Kapitalgewinn auszugehen, wenn die Sammlung nachvollziehbar ohne Gewinnstrebigkeit aufgebaut worden ist. Entscheidend für die Beurteilung der Steuerpflicht ist auch in solchen Fällen eine Würdigung der gesamten Umstände des Einzelfalles (Urteil 2A.66/2002 vom 17. September 2002 E. 2.3, in: ASA 73 S. 308).
3. 3.1 Nach den tatsächlichen Feststellungen der Vorinstanz (vgl. angefochtener Entscheid E. 3.6), welche vom Beschwerdeführer nicht als offensichtlich unrichtig gerügt werden und damit für das Bundesgericht verbindlich sind (Art. 97 Abs. 1 und Art. 105 BGG; vgl. E. 1.4 hiervor), hat X._ die Giacometti-Skulptur Ende der 70er Jahre erworben. Daraus schliesst die Vorinstanz, die lange Haltedauer deute nicht auf ein planmässiges Vorgehen hin und der Verkauf rücke in die Nähe einer Gelegenheitsveräusserung. Der Umstand, dass der Beschwerdegegner die Skulptur an seine Geschäftspartnerin verkauft habe, ohne vorgängig das Bestehen weiterer Kaufinteressenten abzuklären, spreche ebenso gegen ein planmässiges Vorgehen. Die Vorinstanz stellte weiter verbindlich fest, dass der Beschwerdegegner in dreizehn Jahren sieben Verkäufe getätigt habe. In Relation zur Grösse der Sammlung von über 80 Kunstobjekten stufte die Vorinstanz die sieben Verkäufe als gering ein. Zudem stellte die Vorinstanz fest, dass eine Reinvestition in andere Kunstgegenstände "nachweislich nicht erfolgt" sei. Zwischen 1991 und 1993 erfolgten drei Verkäufe und zwischen 2000 und 2004 deren vier; daraus schloss die Vorinstanz, es handle sich um "Notverkäufe", um den Lebensaufwand der Beschwerdegegner zu bestreiten. Die Vorinstanz verneinte daher das Vorliegen einer planmässigen und nachhaltigen Teilnahme am Wirtschaftsverkehr durch die Steuerpflichtigen, weshalb sie die Gewinne aus der Veräusserung der Giacometti-Skulptur als privaten Kapitalgewinn nicht der Besteuerung unterwarf.
3.2 Das Steueramt führt dagegen aus, es sei umstritten, ob der Beschwerdegegner die Giacometti-Skulptur Ende der 70er-Jahre erworben habe. Zudem macht es geltend, ein Kunstwerk (von Valckenborch) sei sogar zweimal verkauft worden. Wie bereits in E. 3.1 hievor erwähnt, vermögen diese Ausführungen den Anforderungen von Art. 97 bzw. 105 BGG an eine substantiierte Sachverhaltsrüge nicht zu genügen. Soweit der Beschwerdeführer - insbesondere im Zusammenhang mit der Rüge der unrichtigen Feststellung des Sachverhalts - wiederholt auf Ausführungen und Akten vor der Steuerrekurskommission verweist (vgl. Beschwerdeschrift Ziff. 2.1, 3.11 und 3.12), tritt das Bundesgericht praxisgemäss nicht darauf ein. Wie unter der Herrschaft des Bundesgesetzes vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege (OG; BS 3 531) müssen die erhobenen Rügen in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 399 f. mit Hinweisen).
Soweit der Beschwerdeführer sodann ausführlich darlegt, dass die konstante bundesgerichtliche Rechtsprechung zur selbständigen Erwerbstätigkeit der davon abweichenden Praxis des Zürcher Verwaltungsgerichts vorzuziehen ist (vgl. Beschwerdeschrift Ziff. 3.1 bis 3.10), braucht diesen zutreffenden Ausführungen nichts mehr beigefügt zu werden (vgl. auch E. 2.4 hiervor).
3.3 Das Steueramt macht in Bezug auf den vorliegend zu beurteilenden Fall (in Ziff. 3.11 der Beschwerdeschrift) geltend, im Bereich des Kunsthandels spreche die Anzahl getätigter Transaktionen (1991 bis 2004 sieben Verkäufe bei einem Bestand von 80 Objekten mit Erlös von über Fr. 3 Mio.) für das Vorliegen einer selbständigen Erwerbstätigkeit. Es handle sich bei den veräusserten Kunstwerken um Gegenstände mit einem hohen Verkaufspreis, weshalb eine wertmässig erhebliche Teilveräusserung vorliege. Es falle weiter ins Gewicht, dass mehrere Male nicht ein ganzes Objekt, sondern nur ein Anteil daran veräussert worden sei; die Veräusserung sei mehrheitlich an seine Geschäftspartnerin im Umfang ihrer Beteiligung an der vom Beschwerdegegner beherrschten V._ AG erfolgt, womit ein unmittelbarer geschäftlicher Bezug vorliege. Der Beschwerdegegner sei sodann seit vielen Jahren in leitender Stellung im Kunst- und Auktionshandel tätig und habe somit spezielle Fachkenntnisse eingesetzt. Die Mittel aus dem Verkauf der Giacometti-Skulptur seien zudem für geschäftliche Zwecke genutzt worden. Schliesslich würden die Beschwerdegegner die Umstände des Erwerbs der Giacometti-Skulptur sowie anderer Werke der Kunstsammlung nicht nachweisen, womit diese im Dunkeln blieben, was zu Ungunsten der Steuerpflichtigen zu würdigen sei.
3.3 Das Steueramt macht in Bezug auf den vorliegend zu beurteilenden Fall (in Ziff. 3.11 der Beschwerdeschrift) geltend, im Bereich des Kunsthandels spreche die Anzahl getätigter Transaktionen (1991 bis 2004 sieben Verkäufe bei einem Bestand von 80 Objekten mit Erlös von über Fr. 3 Mio.) für das Vorliegen einer selbständigen Erwerbstätigkeit. Es handle sich bei den veräusserten Kunstwerken um Gegenstände mit einem hohen Verkaufspreis, weshalb eine wertmässig erhebliche Teilveräusserung vorliege. Es falle weiter ins Gewicht, dass mehrere Male nicht ein ganzes Objekt, sondern nur ein Anteil daran veräussert worden sei; die Veräusserung sei mehrheitlich an seine Geschäftspartnerin im Umfang ihrer Beteiligung an der vom Beschwerdegegner beherrschten V._ AG erfolgt, womit ein unmittelbarer geschäftlicher Bezug vorliege. Der Beschwerdegegner sei sodann seit vielen Jahren in leitender Stellung im Kunst- und Auktionshandel tätig und habe somit spezielle Fachkenntnisse eingesetzt. Die Mittel aus dem Verkauf der Giacometti-Skulptur seien zudem für geschäftliche Zwecke genutzt worden. Schliesslich würden die Beschwerdegegner die Umstände des Erwerbs der Giacometti-Skulptur sowie anderer Werke der Kunstsammlung nicht nachweisen, womit diese im Dunkeln blieben, was zu Ungunsten der Steuerpflichtigen zu würdigen sei.
3.4 3.4.1 Zwar trifft es zu, dass hier das Kriterium des engen Zusammenhangs mit der beruflichen Tätigkeit der steuerpflichtigen Person erfüllt ist und es ist auch nicht auszuschliessen, dass dem Beschwerdegegner seine speziellen Fachkenntnisse beim Verkauf der Skulptur hilfreich waren. Hingegen ist weder ersichtlich noch wird geltend gemacht, dass erhebliche fremde Mittel zur Finanzierung der Geschäfte verwendet worden sein sollen.
3.4.2 Als fraglich erweist sich sodann, ob der Beschwerdegegner systematisch und planmässig vorgegangen ist: Im hier relevanten Zeitraum sind - soweit ersichtlich - nur Verkäufe und keine Käufe getätigt worden. Darin unterscheidet sich die vorliegende Konstellation wesentlich vom Sachverhalt, welcher dem Urteil 2C_893/2008 ("affiches anciennes") zu Grunde lag: Dort kaufte und verkaufte der Steuerpflichtige über Jahre hinweg Plakate ins In- und Ausland und führte zu diesem Zweck mehrere Bankkonten (teilweise in Euro und Dollar).
Angesichts des Umfangs der Kunstsammlung (80 Objekte) durfte die Vorinstanz durchaus den Schluss ziehen, dass sieben Verkäufe in dreizehn Jahren, also durchschnittlich etwa alle zwei Jahre ein Verkauf, als vergleichsweise gering einzustufen sind (vgl. Urteile 2A.66/2002: Verkauf von 5000 Flaschen Wein zu Fr. 838'000.-- in einem Jahr; 2C_708/2007: Verkauf von 51 Antiquitäten zu Fr. 57'237.-- in einem Jahr; 2C_893/2008: Verkauf von Plakaten im Wert von USD 300'000.-- in einem Jahr bei einem Gesamtwert der Sammlung von Fr. 3 Mio.). Dazu kommt, dass in Bezug auf die hier zur Diskussion stehende Giacometti-Skulptur das Kriterium der kurzen Besitzdauer - gestützt auf die verbindlichen Feststellungen der Vorinstanz - nicht erfüllt ist.
3.4.3 Entgegen der Auffassung der Steueramts ist für die Annahme einer selbständigen Erwerbstätigkeit nicht entscheidend, ob ganze Objekte oder nur Anteile davon veräussert worden sind. Allerdings fällt hier doch auf, dass die Veräusserungen an die damalige Geschäftspartnerin des Beschwerdegegners jeweils der prozentualen Beteiligung (40 %) der Geschäftspartnerin an der von ihm beherrschten Gesellschaft entspricht, was einen geschäftlichen Bezug der Verkäufe vermuten lässt.
3.4.4 Das Steueramt - wie auch die ESTV - machen geltend, der Beschwerdegegner habe einen Teil der Erlöse aus dem Verkauf von Kunstgegenständen für seine den Kunsthandel betreibenden Gesellschaften und damit für sein eigenes berufliches Fortkommen in der Kunsthandel-Branche verwendet. Diese Rüge beschränkt sich jedoch auf den blossen Verweis auf die rechtliche Würdigung der Steuerrekurskommission im Entscheid vom 21. April 2009, was - wie bereits erwähnt (vgl. E. 3.2 hiervor) - nicht zulässig ist.
3.4.5 Eine Würdigung sämtlicher Umstände ergibt - auch unter Berücksichtigung der Besonderheiten beim Verkauf von Kunstgegenständen (vgl. E. 2.5 hiervor) - gesamthaft das Bild einer blossen bzw. gewöhnlichen Verwaltung eigenen, privaten Vermögens. Zwar liegen auch Indizien für eine selbständige Erwerbstätigkeit vor (Zusammenhang mit beruflicher Tätigkeit, geschäftlicher Bezug durch anteilmässigen Verkauf an Geschäftspartnerin), es überwiegen jedoch die übrigen Indizien, welche für eine einfache private Vermögensverwaltung sprechen. In ihrem gesamten Erscheinungsbild ist der Verkauf der Giacometti-Skulptur - zumindest in der hier zur Beurteilung stehenden Steuerperiode 2004 - nicht auf Erwerb ausgerichtet. Der angefochtene Entscheid ist daher - auch wenn er teilweise von unzutreffenden Abgrenzungskriterien ausgeht (vgl. E. 2.4 hiervor) - im Ergebnis nicht zu beanstanden.
3.5 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer erweist sich damit als unbegründet und ist abzuweisen.
II. Staats- und Gemeindesteuern
4. § 16 Abs. 1 und 3 Satz 1 und § 18 Abs. 1 und 2 StG/ZH entsprechen Art. 16 Abs. 1 und Abs. 3 sowie Art. 18 Abs. 1 und 2 DBG bzw. Art. 7 und Art. 8 StHG. Daraus folgt, dass die Erwägungen zur direkten Bundessteuer auch für die kantonalen Steuern gelten (Urteil 2C_868/2008 vom 23. Oktober 2009 E. 2.1, in: StE 2010 B. 23.1 Nr. 68). Damit erweist sich auch die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern als unbegründet und ist abzuweisen.
III. Kosten und Entschädigung
5. Diesem Ausgang entsprechend hat der Kanton Zürich, dessen Vermögensinteressen im Spiel sind, die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 65 und 66 Abs. 1 und 4 BGG). Er hat den Beschwerdegegnern zudem eine Parteientschädigung nach <ref-law> zu leisten.

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_766/2010 und 2C_767/2010 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer (2C_767/2010) wird abgewiesen.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern (2C_766/2010) wird abgewiesen.
4. Die Gerichtskosten von Fr. 3'000.-- (für beide Verfahren) werden dem Kanton Zürich auferlegt.
5. Der Kanton Zürich hat den Beschwerdegegnern eine Parteientschädigung von Fr. 3'000.-- (für beide Verfahren) zu bezahlen.
6. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 29. Juli 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger