Sachverhalt: Sachverhalt: A. A.X._ ist Alleinaktionär und Verwaltungsratspräsident der in Zürich domizilierten "Architekten Y._ und A.X._ AG" (nachfolgend: Architekten AG), bei welcher er auch hauptberuflich als Architekt angestellt ist. Nebenberuflich betreibt er seit mehreren Jahren gewerbsmässigen Liegenschaftenhandel. Im Jahr 1997 gründete A.X._ zusammen mit seinem Büropartner Y._ sowie mit C.Z._ und dessen Sohn D.Z._ die E._, eine Aktiengesellschaft mit Sitz in Zug. Diese Gesellschaft verfügte über ein Aktienkapital von Fr. 100'000.-- (100 Inhaberaktien à Fr. 1'000.--) und bezweckte den Erwerb, die Erstellung und die Vermietung sowie den Handel mit Grundstücken und Liegenschaften. Vom Aktienkapital übernahm jeder der vier Beteiligten 25 %. Weil sie nach aussen nicht in Erscheinung treten wollten, beauftragten die Beteiligten die F._ Revisions- und Treuhand AG mit der treuhänderischen Gründung und Verwaltung sowie mit dem Verwaltungsratsmandat der E._. Die E._ realisierte in der Folge eine grosse Wohnüberbauung in der Gemeinde Uster mit 40 Eigentumswohnungen und 30 Reiheneinfamilienhäusern. Die Architekturarbeiten für diese Überbauung wurden von der Architekten AG ausgeführt, und die von C.Z._ und D.Z._ beherrschte Z._ AG Bauleitungs- und Generalunternehmung AG trat als Generalunternehmerin auf. Als im Laufe des Jahres 1999 Differenzen zwischen A.X._ bzw. Y._ einerseits und C.Z._ bzw. D.Z._ andererseits auftraten, verkauften erstere am 11. Oktober 1999 ihre Beteiligungen an der E._ von je 25 % für Fr. 725'000.-- an C.Z._. Unter Berücksichtigung des bei der Gründung aufgebrachten Kapitals von je Fr. 25'000.-- resultierte daraus ein betragsmässig nicht bestrittener Gewinn von Fr. 675'000.-- oder Fr. 337'500.-- pro Verkäufer. Die E._ realisierte in der Folge eine grosse Wohnüberbauung in der Gemeinde Uster mit 40 Eigentumswohnungen und 30 Reiheneinfamilienhäusern. Die Architekturarbeiten für diese Überbauung wurden von der Architekten AG ausgeführt, und die von C.Z._ und D.Z._ beherrschte Z._ AG Bauleitungs- und Generalunternehmung AG trat als Generalunternehmerin auf. Als im Laufe des Jahres 1999 Differenzen zwischen A.X._ bzw. Y._ einerseits und C.Z._ bzw. D.Z._ andererseits auftraten, verkauften erstere am 11. Oktober 1999 ihre Beteiligungen an der E._ von je 25 % für Fr. 725'000.-- an C.Z._. Unter Berücksichtigung des bei der Gründung aufgebrachten Kapitals von je Fr. 25'000.-- resultierte daraus ein betragsmässig nicht bestrittener Gewinn von Fr. 675'000.-- oder Fr. 337'500.-- pro Verkäufer. B. Nachdem A.X._ und seine Ehefrau trotz Mahnung die Steuererklärung 1999 B nicht eingereicht hatten, wurden sie am 15. Oktober 2001 nach Ermessen auf ein Einkommen von Fr. 600'000.-- eingeschätzt. Dagegen erhoben A.X._ und seine Ehefrau Einsprache und deklarierten in der nun unterbreiteten Steuererklärung 1999 B für die direkte Bundessteuer ein Einkommen von Fr. 258'100.--. Der Gewinn aus dem Verkauf der 25%igen Beteiligung an der E._ war darin nicht enthalten. Demgegenüber war nach Auffassung des Steuerkommissärs - neben nicht mehr strittigen Aufrechnungen - auch dieser Gewinn als Einkommen aus selbständiger Erwerbstätigkeit zu erfassen. Im Einspracheentscheid vom 8. August 2003 wurde das für die direkte Bundessteuer massgebende Einkommen auf Fr. 662'300.-- festgesetzt. Die Aufrechnung des einzig noch strittigen Gewinnes aus dem Verkauf der 25%igen Beteiligung an der E._ wurde damit begründet, dass es sich um eine Beteiligung des Geschäftsvermögens handle und der darauf erzielte Verkaufsgewinn von Fr. 304'636.-- (Fr. 337'500.-- abzüglich AHV-Sonderbeitrag von Fr. 32'864.--) der direkten Bundessteuer unterliege. Eine gegen diesen Entscheid gerichtete Beschwerde wies die Bundessteuer-Rekurskommission des Kantons Zürich mit Entscheid vom 29. Juni 2004 ab. Dies obwohl die Steuerrekurskommission I des Kantons Zürich mit Entscheid vom 31. Januar 2003 betreffend die Staats- und Gemeindesteuern 1999 gegenteilig entschieden und in diesem Zusammenhang ein Einkommen aus selbständiger Erwerbstätigkeit verneint hatte. B. Nachdem A.X._ und seine Ehefrau trotz Mahnung die Steuererklärung 1999 B nicht eingereicht hatten, wurden sie am 15. Oktober 2001 nach Ermessen auf ein Einkommen von Fr. 600'000.-- eingeschätzt. Dagegen erhoben A.X._ und seine Ehefrau Einsprache und deklarierten in der nun unterbreiteten Steuererklärung 1999 B für die direkte Bundessteuer ein Einkommen von Fr. 258'100.--. Der Gewinn aus dem Verkauf der 25%igen Beteiligung an der E._ war darin nicht enthalten. Demgegenüber war nach Auffassung des Steuerkommissärs - neben nicht mehr strittigen Aufrechnungen - auch dieser Gewinn als Einkommen aus selbständiger Erwerbstätigkeit zu erfassen. Im Einspracheentscheid vom 8. August 2003 wurde das für die direkte Bundessteuer massgebende Einkommen auf Fr. 662'300.-- festgesetzt. Die Aufrechnung des einzig noch strittigen Gewinnes aus dem Verkauf der 25%igen Beteiligung an der E._ wurde damit begründet, dass es sich um eine Beteiligung des Geschäftsvermögens handle und der darauf erzielte Verkaufsgewinn von Fr. 304'636.-- (Fr. 337'500.-- abzüglich AHV-Sonderbeitrag von Fr. 32'864.--) der direkten Bundessteuer unterliege. Eine gegen diesen Entscheid gerichtete Beschwerde wies die Bundessteuer-Rekurskommission des Kantons Zürich mit Entscheid vom 29. Juni 2004 ab. Dies obwohl die Steuerrekurskommission I des Kantons Zürich mit Entscheid vom 31. Januar 2003 betreffend die Staats- und Gemeindesteuern 1999 gegenteilig entschieden und in diesem Zusammenhang ein Einkommen aus selbständiger Erwerbstätigkeit verneint hatte. C. Mit Verwaltungsgerichtsbeschwerde vom 20. September 2004 beantragen A.X._ und B.X._ dem Bundesgericht, auf die Beschwerde mangels Zuständigkeit nicht einzutreten; eventualiter sei der Entscheid der Bundessteuer-Rekurskommission betreffend die Direkte Bundessteuer 1999 vom 29. Juni 2004 aufzuheben und das steuerbare Einkommen auf 258'114.-- bzw. die geschuldete Steuer auf Fr. 21'727.-- festzusetzen. Das Kantonale Steueramt Zürich beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die an die Stelle der Bundessteuer-Rekurskommission Zürich getretene Steuerrekurskommission II des Kantons Zürich sowie die Eidgenössische Steuerverwaltung schliessen ebenfalls auf Abweisung der Beschwerde.