Sachverhalt:
Sachverhalt:
A. A.X._ ist Alleinaktionär und Verwaltungsratspräsident der in Zürich domizilierten "Architekten Y._ und A.X._ AG" (nachfolgend: Architekten AG), bei welcher er auch hauptberuflich als Architekt angestellt ist. Nebenberuflich betreibt er seit mehreren Jahren gewerbsmässigen Liegenschaftenhandel.
Im Jahr 1997 gründete A.X._ zusammen mit seinem Büropartner Y._ sowie mit C.Z._ und dessen Sohn D.Z._ die E._, eine Aktiengesellschaft mit Sitz in Zug. Diese Gesellschaft verfügte über ein Aktienkapital von Fr. 100'000.-- (100 Inhaberaktien à Fr. 1'000.--) und bezweckte den Erwerb, die Erstellung und die Vermietung sowie den Handel mit Grundstücken und Liegenschaften. Vom Aktienkapital übernahm jeder der vier Beteiligten 25 %. Weil sie nach aussen nicht in Erscheinung treten wollten, beauftragten die Beteiligten die F._ Revisions- und Treuhand AG mit der treuhänderischen Gründung und Verwaltung sowie mit dem Verwaltungsratsmandat der E._.
Die E._ realisierte in der Folge eine grosse Wohnüberbauung in der Gemeinde Uster mit 40 Eigentumswohnungen und 30 Reiheneinfamilienhäusern. Die Architekturarbeiten für diese Überbauung wurden von der Architekten AG ausgeführt, und die von C.Z._ und D.Z._ beherrschte Z._ AG Bauleitungs- und Generalunternehmung AG trat als Generalunternehmerin auf. Als im Laufe des Jahres 1999 Differenzen zwischen A.X._ bzw. Y._ einerseits und C.Z._ bzw. D.Z._ andererseits auftraten, verkauften erstere am 11. Oktober 1999 ihre Beteiligungen an der E._ von je 25 % für Fr. 725'000.-- an C.Z._. Unter Berücksichtigung des bei der Gründung aufgebrachten Kapitals von je Fr. 25'000.-- resultierte daraus ein betragsmässig nicht bestrittener Gewinn von Fr. 675'000.-- oder Fr. 337'500.-- pro Verkäufer.
Die E._ realisierte in der Folge eine grosse Wohnüberbauung in der Gemeinde Uster mit 40 Eigentumswohnungen und 30 Reiheneinfamilienhäusern. Die Architekturarbeiten für diese Überbauung wurden von der Architekten AG ausgeführt, und die von C.Z._ und D.Z._ beherrschte Z._ AG Bauleitungs- und Generalunternehmung AG trat als Generalunternehmerin auf. Als im Laufe des Jahres 1999 Differenzen zwischen A.X._ bzw. Y._ einerseits und C.Z._ bzw. D.Z._ andererseits auftraten, verkauften erstere am 11. Oktober 1999 ihre Beteiligungen an der E._ von je 25 % für Fr. 725'000.-- an C.Z._. Unter Berücksichtigung des bei der Gründung aufgebrachten Kapitals von je Fr. 25'000.-- resultierte daraus ein betragsmässig nicht bestrittener Gewinn von Fr. 675'000.-- oder Fr. 337'500.-- pro Verkäufer.
B. Nachdem A.X._ und seine Ehefrau trotz Mahnung die Steuererklärung 1999 B nicht eingereicht hatten, wurden sie am 15. Oktober 2001 nach Ermessen auf ein Einkommen von Fr. 600'000.-- eingeschätzt. Dagegen erhoben A.X._ und seine Ehefrau Einsprache und deklarierten in der nun unterbreiteten Steuererklärung 1999 B für die direkte Bundessteuer ein Einkommen von Fr. 258'100.--. Der Gewinn aus dem Verkauf der 25%igen Beteiligung an der E._ war darin nicht enthalten. Demgegenüber war nach Auffassung des Steuerkommissärs - neben nicht mehr strittigen Aufrechnungen - auch dieser Gewinn als Einkommen aus selbständiger Erwerbstätigkeit zu erfassen. Im Einspracheentscheid vom 8. August 2003 wurde das für die direkte Bundessteuer massgebende Einkommen auf Fr. 662'300.-- festgesetzt. Die Aufrechnung des einzig noch strittigen Gewinnes aus dem Verkauf der 25%igen Beteiligung an der E._ wurde damit begründet, dass es sich um eine Beteiligung des Geschäftsvermögens handle und der darauf erzielte Verkaufsgewinn von Fr. 304'636.-- (Fr. 337'500.-- abzüglich AHV-Sonderbeitrag von Fr. 32'864.--) der direkten Bundessteuer unterliege. Eine gegen diesen Entscheid gerichtete Beschwerde wies die Bundessteuer-Rekurskommission des Kantons Zürich mit Entscheid vom 29. Juni 2004 ab. Dies obwohl die Steuerrekurskommission I des Kantons Zürich mit Entscheid vom 31. Januar 2003 betreffend die Staats- und Gemeindesteuern 1999 gegenteilig entschieden und in diesem Zusammenhang ein Einkommen aus selbständiger Erwerbstätigkeit verneint hatte.
B. Nachdem A.X._ und seine Ehefrau trotz Mahnung die Steuererklärung 1999 B nicht eingereicht hatten, wurden sie am 15. Oktober 2001 nach Ermessen auf ein Einkommen von Fr. 600'000.-- eingeschätzt. Dagegen erhoben A.X._ und seine Ehefrau Einsprache und deklarierten in der nun unterbreiteten Steuererklärung 1999 B für die direkte Bundessteuer ein Einkommen von Fr. 258'100.--. Der Gewinn aus dem Verkauf der 25%igen Beteiligung an der E._ war darin nicht enthalten. Demgegenüber war nach Auffassung des Steuerkommissärs - neben nicht mehr strittigen Aufrechnungen - auch dieser Gewinn als Einkommen aus selbständiger Erwerbstätigkeit zu erfassen. Im Einspracheentscheid vom 8. August 2003 wurde das für die direkte Bundessteuer massgebende Einkommen auf Fr. 662'300.-- festgesetzt. Die Aufrechnung des einzig noch strittigen Gewinnes aus dem Verkauf der 25%igen Beteiligung an der E._ wurde damit begründet, dass es sich um eine Beteiligung des Geschäftsvermögens handle und der darauf erzielte Verkaufsgewinn von Fr. 304'636.-- (Fr. 337'500.-- abzüglich AHV-Sonderbeitrag von Fr. 32'864.--) der direkten Bundessteuer unterliege. Eine gegen diesen Entscheid gerichtete Beschwerde wies die Bundessteuer-Rekurskommission des Kantons Zürich mit Entscheid vom 29. Juni 2004 ab. Dies obwohl die Steuerrekurskommission I des Kantons Zürich mit Entscheid vom 31. Januar 2003 betreffend die Staats- und Gemeindesteuern 1999 gegenteilig entschieden und in diesem Zusammenhang ein Einkommen aus selbständiger Erwerbstätigkeit verneint hatte.
C. Mit Verwaltungsgerichtsbeschwerde vom 20. September 2004 beantragen A.X._ und B.X._ dem Bundesgericht, auf die Beschwerde mangels Zuständigkeit nicht einzutreten; eventualiter sei der Entscheid der Bundessteuer-Rekurskommission betreffend die Direkte Bundessteuer 1999 vom 29. Juni 2004 aufzuheben und das steuerbare Einkommen auf 258'114.-- bzw. die geschuldete Steuer auf Fr. 21'727.-- festzusetzen.
Das Kantonale Steueramt Zürich beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei.
Die an die Stelle der Bundessteuer-Rekurskommission Zürich getretene Steuerrekurskommission II des Kantons Zürich sowie die Eidgenössische Steuerverwaltung schliessen ebenfalls auf Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Der angefochtene Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich ist ein auf Steuerrecht des Bundes gestütztes, letztinstanzliches kantonales Urteil, das mit Verwaltungsgerichtsbeschwerde beim Bundesgericht angefochten werden kann (Art. 97 Abs. 1 OG in Verbindung mit <ref-law> und Art. 98 lit. g OG sowie Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG]; SR 642.11). Die sich nach der Rechtsprechung aus der Steuerharmonisierung ergebende Verpflichtung der Kantone, für Beschwerden betreffend die direkte Bundessteuer denselben Rechtsweg wie für die direkten kantonalen Steuern vorzusehen (vgl. <ref-ruling> ff.), kommt im vorliegenden Fall noch nicht zur Anwendung; denn die Frist von acht Jahren, die den Kantonen gemäss Art. 72 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) offen stand, war in der hier in Frage stehenden Steuerperiode 1999 noch nicht abgelaufen. Als betroffene steuerpflichtige Personen sind die Beschwerdeführer zur Beschwerde legitimiert (Art. 103 lit. a OG). Auf ihre form- und fristgerecht eingereichte Beschwerde ist einzutreten.
1.2 Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens (Art. 104 lit. a OG) sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts (Art. 104 lit. b OG) gerügt werden. Hat - wie hier - als Vorinstanz eine richterliche Behörde entschieden, so ist das Bundesgericht an deren Sachverhaltsfeststellung gebunden, wenn der Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften ermittelt worden ist (Art. 105 Abs. 2 OG). Offensichtlich unrichtig ist die Sachverhaltsfeststellung nicht schon dann, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (Fritz Gygi, Bundesverwaltungsrechtspflege, 2. Aufl. Bern 1983, S. 286 mit Hinweisen).
1.3 Das Bundesgericht wendet im verwaltungsgerichtlichen Beschwerdeverfahren das Bundesrecht von Amtes wegen an; es ist gemäss Art. 114 Abs. 1 OG an die von den Parteien vorgebrachten Begründungen nicht gebunden und kann die Beschwerde auch aus anderen als den geltend gemachten Gründen gutheissen oder abweisen (<ref-ruling> E. 3.4 S. 188 mit Hinweisen).
1.3 Das Bundesgericht wendet im verwaltungsgerichtlichen Beschwerdeverfahren das Bundesrecht von Amtes wegen an; es ist gemäss Art. 114 Abs. 1 OG an die von den Parteien vorgebrachten Begründungen nicht gebunden und kann die Beschwerde auch aus anderen als den geltend gemachten Gründen gutheissen oder abweisen (<ref-ruling> E. 3.4 S. 188 mit Hinweisen).
2. 2.1 Auf Grund der Generalklauseln von Art. 16 Abs. 1 und <ref-law> unterliegen der Einkommenssteuer alle wiederkehrenden und einmaligen Einkünfte aus einer selbständigen Erwerbstätigkeit. Dazu zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen; als Geschäftsvermögen gelten alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen (<ref-law>). Steuerfrei sind einzig Kapitalgewinne aus der Veräusserung von Privatvermögen (<ref-law>), sofern sie im Rahmen der gewöhnlichen Verwaltung desselben in Ausnützung einer zufällig sich bietenden Gelegenheit erzielt werden (<ref-ruling> E. 6a S. 124).
2.2 Nach ständiger Praxis des Bundesgerichts sind Gewinne aus der Veräusserung von Vermögensgegenständen steuerbar, wenn sie sich aus irgendeiner auf Erwerb (Verdienst) gerichteten, über die schlichte Vermögensverwaltung hinausgehenden Tätigkeit ergeben, gleichgültig ob diese im Haupt- oder Nebenberuf, regelmässig wiederkehrend oder nur einmal ausgeübt wird (<ref-ruling> E. 6a S. 124). Als Indizien für eine selbständige Erwerbstätigkeit können etwa in Betracht fallen: Systematische oder planmässige Art und Weise des Vorgehens, Häufigkeit der Transaktionen, kurze Besitzesdauer, enger Zusammenhang mit der beruflichen Tätigkeit des Steuerpflichtigen, Einsatz spezieller Fachkenntnisse oder erheblicher fremder Mittel zur Finanzierung der Geschäfte, Verwendung der erzielten Gewinne bzw. Wiederanlage in gleichartigen Vermögensgegenständen (Urteil 2A.272/ 2003 vom 13. Dezember 2003 E. 2.3). Jedes dieser Indizien kann zusammen mit anderen, unter Umständen jedoch auch allein, zur Annahme einer selbständigen Erwerbstätigkeit im Sinne von <ref-law> ausreichen. Dass einzelne typische Elemente einer selbständigen Erwerbstätigkeit im Einzelfall nicht erfüllt sind, kann durch andere Elemente kompensiert werden, die mit besonderer Intensität vorliegen. Entscheidend ist, dass die Tätigkeit in ihrem gesamten Erscheinungsbild auf Erwerb ausgerichtet ist (<ref-ruling> E. 3c S. 118 f.). Diese Kriterien, die ursprünglich für den Bereich des Liegenschaftenhandels entwickelt worden sind, gelten - angepasst an die entsprechenden Besonderheiten - auch beim Wertschriftenhandel (Urteil 2A.272/2003 vom 13. Dezember 2003 E. 2.3).
2.3 Bei Beteiligungsrechten liegt dann Geschäftsvermögen im Sinne von <ref-law> vor, wenn eine enge wirtschaftliche Beziehung zwischen der Beteiligung an der Kapitalgesellschaft und dem Geschäft des Steuerpflichtigen besteht. Eine solche ist insbesondere anzunehmen, wenn die Beteiligung für Geschäftszwecke erworben wurde oder sie dem Inhaber einen massgeblichen Einfluss auf eine Gesellschaft verschafft, deren geschäftliche Tätigkeit seiner eigenen entspricht oder diese sinnvoll ergänzt, was ihm erlaubt, seine ursprüngliche Geschäftstätigkeit auszudehnen. Diese Voraussetzung ist gegeben, wenn der Steuerpflichtige die Beteiligungsrechte konkret dazu einsetzt, um das Geschäftsergebnis seines eigenen Unternehmens bzw. dessen Gewinnchancen zu verbessern (Urteil 2A.431/2000 vom 9. April 2001 E. 4, publiziert in: ASA 71,288; vgl. auch Peter Locher, Kommentar zum DGB, Therwil/Basel 2001, N 139 zu <ref-law>). Nicht erforderlich für die Zurechnung zum Geschäftsvermögen ist eine Mehrheitsbeteiligung (vgl. Urteil 2A.168/1998 vom 3. September 1999: 25 %-Beteiligung).
2.3 Bei Beteiligungsrechten liegt dann Geschäftsvermögen im Sinne von <ref-law> vor, wenn eine enge wirtschaftliche Beziehung zwischen der Beteiligung an der Kapitalgesellschaft und dem Geschäft des Steuerpflichtigen besteht. Eine solche ist insbesondere anzunehmen, wenn die Beteiligung für Geschäftszwecke erworben wurde oder sie dem Inhaber einen massgeblichen Einfluss auf eine Gesellschaft verschafft, deren geschäftliche Tätigkeit seiner eigenen entspricht oder diese sinnvoll ergänzt, was ihm erlaubt, seine ursprüngliche Geschäftstätigkeit auszudehnen. Diese Voraussetzung ist gegeben, wenn der Steuerpflichtige die Beteiligungsrechte konkret dazu einsetzt, um das Geschäftsergebnis seines eigenen Unternehmens bzw. dessen Gewinnchancen zu verbessern (Urteil 2A.431/2000 vom 9. April 2001 E. 4, publiziert in: ASA 71,288; vgl. auch Peter Locher, Kommentar zum DGB, Therwil/Basel 2001, N 139 zu <ref-law>). Nicht erforderlich für die Zurechnung zum Geschäftsvermögen ist eine Mehrheitsbeteiligung (vgl. Urteil 2A.168/1998 vom 3. September 1999: 25 %-Beteiligung).
3. 3.1 Der Beschwerdeführer ist unbestrittenermassen hauptberuflich als Architekt bei der von ihm als Alleinaktionär vollständig beherrschten Architekten AG, die ein Architekturbüro betreibt, angestellt und damit unselbständig erwerbstätig. Im Nebenberuf betreibt er seit mehreren Jahren gewerbsmässigen Liegenschaftenhandel; in der Vergangenheit wurden bei ihm denn auch mehrfach Einkünfte aus dem Verkauf von Liegenschaften steuerlich als Einkommen aus selbständiger Erwerbstätigkeit erfasst. Weiter ist er zu 50 % an der Y._ und X._ Immobilien AG beteiligt (Beschwerde S. 5), die u.a. Liegenschaftenhandel sowie Immobiliengeschäfte aller Art bezweckt.
3.2 Während das Architekturbüro des Beschwerdeführers weder Liegenschaftenhandel betreibt noch eine Immobiliengesellschaft darstellt, bezwecken bzw. bezweckten sowohl die Y._ und X._ Immobilien AG als auch die E._ Liegenschaftenhandel und Immobiliengeschäfte (Einspracheentscheid des Kantonalen Steueramtes Zürich vom 8. August 2003 E. 1 und 6).
Der nebenberufliche Liegenschaftenhandel des Beschwerdeführers spielte sich mehrmals derart ab, dass er mit Partnern aus der Baubranche grössere Baulandparzellen erwarb und diese überbauen liess. Die Architekturarbeiten wurden dabei jeweils seiner Architekten AG übertragen, die Baumeisterarbeiten seinen Partnern, die zum Teil auch als Generalunternehmer fungierten (angefochtenes Urteil E. 3). So hatte er sich in dieser Weise beispielsweise für ein Bauprojekt in Reichenburg mit dem Bauunternehmer in einem Konsortium zu einer einfachen Gesellschaft zusammengeschlossen. Es wird von keiner Seite bestritten, dass der beim Verkauf der überbauten Liegenschaften erzielte Gewinn jeweils als Einkommen aus selbständiger Tätigkeit zu versteuern war (angefochtenes Urteil E. 4 mit Hinweis auf die Aufzählung im Einspracheentscheid).
Auch im vorliegenden Fall hat der Beschwerdeführer (zusammen mit seinem Büropartner der Architekten AG) mit C.Z._ (und dessen Sohn D.Z._) in einem Immobilienprojekt (Realisierung einer Überbauung in Nänikon/Uster mit Anlagekosten von rund 39 Mio. Franken) gearbeitet, wobei die Architekturarbeiten seiner Architekten AG und die Bauarbeiten der von C.Z._ und D.Z._ beherrschten Z._ AG Bauleitungs- und Generalunternehmung AG vorbehalten waren. Das Vorgehen war somit auch in diesem Fall dasselbe, abgesehen davon, dass die Realisierung des Projekts der E._ übertragen wurde, die von den Partnern eigens zu diesem Zweck gegründet worden war. Das Projekt sollte - wie die früheren - einerseits der Arbeitsbeschaffung für die von den Konsorten beherrschten Gesellschaften dienen; andererseits sollte durch den Verkauf der erstellten Wohnungen bzw. Häuser ein Gewinn erzielt werden, der unter den Konsorten aufzuteilen war. Im Gegensatz zu früheren Projekten wurde lediglich die zu überbauende Liegenschaft nicht von den Konsorten direkt, sondern über eine Aktiengesellschaft gehalten, an der die Konsortialpartner wirtschaftlich berechtigt waren (zu je 25 %). Der Beschwerdeführer beherrschte damit die E._ zwar nicht allein, wohl aber zusammen mit den Partnern. Er bzw. die ihm gehörende Architekten AG erhielt denn auch den Architekturauftrag, wie dies offensichtlich von Anfang an abgesprochen worden und schon bei früheren Bauvorhaben der Fall gewesen war. Insofern diente die Übernahme der Aktien der E._ in gleicher Weise wie der direkte Erwerb von Bauland dem nebenberuflichen Liegenschaftenhandel, dessen Zweck seinerseits auch darin bestand, dem Architekturbüro des Beschwerdeführers Aufträge zuzuführen. Dass dieses Büro in Form einer Aktiengesellschaft geführt wird, vermag unter den gegebenen Umständen nichts zu ändern; dieser Umstand hat auch nicht verhindert, dass der Liegenschaftenhandel, der seit jeher auch dem Architekturbüro zudiente, als selbständige Erwerbstätigkeit zu qualifizieren war.
Indem die Vorinstanz in diesem Sinne die 25 %-Beteiligung des Beschwerdeführers an der E._ als Geschäftsvermögen und den Gewinn aus deren Verkauf als Einkommen aus einer selbständigen Erwerbstätigkeit im Sinne von <ref-law> betrachtete, hat sie somit kein Bundesrecht verletzt.
Indem die Vorinstanz in diesem Sinne die 25 %-Beteiligung des Beschwerdeführers an der E._ als Geschäftsvermögen und den Gewinn aus deren Verkauf als Einkommen aus einer selbständigen Erwerbstätigkeit im Sinne von <ref-law> betrachtete, hat sie somit kein Bundesrecht verletzt.
4. Aus diesen Gründen ist die Verwaltungsgerichtsbeschwerde abzuweisen. Entsprechend diesem Ausgang haben die Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (Art. 156 Abs. 1 und 7 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern auferlegt, unter solidarischer Haftung.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich und der Steuerrekurskommission II des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 22. April 2005
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: