Sachverhalt: Sachverhalt: A. M. X._ ist diplomierter Bauingenieur HTL und betreibt ein Ingenieurbüro für Hoch- und Industriebauten. 1984 hatte er vier Grundstücke in A._ erworben, die sich überwiegend ausserhalb der Bauzone befanden und teilweise mit Wald bestückt waren. M. X._ wollte auf einer dieser Parzellen ein Doppeleinfamilienhaus erstellen, bekam jedoch von der Baubehörde A._ zunächst einen ablehnenden Vorentscheid und erhielt erst am 8. Juli 1997, d.h. 13 Jahre später, die Baubewilligung (nunmehr für drei Einfamilienhäuser). Ein Jahr später verkaufte er alle Landparzellen an vier verschiedene Käufer und realisierte dabei einen Gewinn von Fr. 548'237.--. 1988 hatte M. X._ zusammen mit dem Architekten Z._ ein Abbruchobjekt in B._ gekauft, um darauf ein Mehrfamilienhaus zu bauen. Nach dem plötzlichen Tod seines Partners 1991 erwarb er auch dessen Anteil und erstellte in den Jahren 1997 und 1998 ein Mehrfamilienhaus mit vier Wohnungen und begründete daran Stockwerkeigentum. 1998 trat er zwei dieser Wohnungen im Rahmen gemischter Schenkungen seinen Söhnen ab, eine verkaufte er an Dritte, und die vierte Wohnung behielt er für den Eigenbedarf. Daraus resultierte insgesamt ein Verlust von Fr. 109'870.--. 1988 hatte M. X._ zusammen mit dem Architekten Z._ ein Abbruchobjekt in B._ gekauft, um darauf ein Mehrfamilienhaus zu bauen. Nach dem plötzlichen Tod seines Partners 1991 erwarb er auch dessen Anteil und erstellte in den Jahren 1997 und 1998 ein Mehrfamilienhaus mit vier Wohnungen und begründete daran Stockwerkeigentum. 1998 trat er zwei dieser Wohnungen im Rahmen gemischter Schenkungen seinen Söhnen ab, eine verkaufte er an Dritte, und die vierte Wohnung behielt er für den Eigenbedarf. Daraus resultierte insgesamt ein Verlust von Fr. 109'870.--. B. Am 8. März 2002 veranlagte das Kantonale Steueramt Zürich (nachfolgend: Steueramt) M. und N. X._ für die direkte Bundessteuer 1997/98 (ausserordentliche Einkünfte 1998) mit ausserordentlichen Einkünften aus Liegenschaftshandelstätigkeit von Fr. 398'300.--. Es verrechnete den Gewinn aus dem Verkauf in A._ mit dem Verlust in B._ und liess zusätzlich einen AHV-Sonderbeitrag von Fr. 40'000.-- zum Abzug zu. Auf Einsprache hin wurden die ausserordentlichen Einkünfte auf Fr. 251'600.-- reduziert, indem zusätzlich ein Verlust aus selbständiger Erwerbstätigkeit von Fr. 41'176.--, Vorjahresverluste von Fr. 106'880.-- sowie der effektive AHV-Sonderbeitrag von Fr. 38'667.-- berücksichtigt wurden. B. Am 8. März 2002 veranlagte das Kantonale Steueramt Zürich (nachfolgend: Steueramt) M. und N. X._ für die direkte Bundessteuer 1997/98 (ausserordentliche Einkünfte 1998) mit ausserordentlichen Einkünften aus Liegenschaftshandelstätigkeit von Fr. 398'300.--. Es verrechnete den Gewinn aus dem Verkauf in A._ mit dem Verlust in B._ und liess zusätzlich einen AHV-Sonderbeitrag von Fr. 40'000.-- zum Abzug zu. Auf Einsprache hin wurden die ausserordentlichen Einkünfte auf Fr. 251'600.-- reduziert, indem zusätzlich ein Verlust aus selbständiger Erwerbstätigkeit von Fr. 41'176.--, Vorjahresverluste von Fr. 106'880.-- sowie der effektive AHV-Sonderbeitrag von Fr. 38'667.-- berücksichtigt wurden. C. Die Eheleute M. und N. X._ erhoben gegen den Einspracheentscheid am 8. Oktober 2003 Beschwerde an die Bundessteuer-Rekurskommission des Kantons Zürich (nachfolgend: Rekurskommission) mit dem Antrag, von einer Besteuerung ausserordentlicher Einkünfte abzusehen. Am 29. Juni 2004 hiess diese die Beschwerde teilweise gut und wies die Sache zur weiteren Untersuchung und zum Neuentscheid an den Steuerkommissär zurück. Sie bejahte zwar die aus dem Verkauf der Parzellen in A._ erzielten Gewinne als ausserordentliche Einkünfte, die auf einer Tätigkeit als Liegenschaftshändler beruhten; hingegen sei der genaue, für die Gewinnbemessung massgebende Zeitpunkt der Aufnahme dieser Tätigkeit nicht erstellt. C. Die Eheleute M. und N. X._ erhoben gegen den Einspracheentscheid am 8. Oktober 2003 Beschwerde an die Bundessteuer-Rekurskommission des Kantons Zürich (nachfolgend: Rekurskommission) mit dem Antrag, von einer Besteuerung ausserordentlicher Einkünfte abzusehen. Am 29. Juni 2004 hiess diese die Beschwerde teilweise gut und wies die Sache zur weiteren Untersuchung und zum Neuentscheid an den Steuerkommissär zurück. Sie bejahte zwar die aus dem Verkauf der Parzellen in A._ erzielten Gewinne als ausserordentliche Einkünfte, die auf einer Tätigkeit als Liegenschaftshändler beruhten; hingegen sei der genaue, für die Gewinnbemessung massgebende Zeitpunkt der Aufnahme dieser Tätigkeit nicht erstellt. D. Gegen diesen Entscheid haben M. und N. X._ am 18. September 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragen, den angefochtenen Entscheid aufzuheben und von der Besteuerung ausserordentlicher Einkünfte abzusehen; bereits entrichtete Steuerbeträge seien zurückzuerstatten. Im Übrigen ersuchen sie u.a. gestützt auf Art. 6 Ziff. 1 EMRK um die Anordnung eines zweiten Schriftenwechsels. D. Gegen diesen Entscheid haben M. und N. X._ am 18. September 2004 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragen, den angefochtenen Entscheid aufzuheben und von der Besteuerung ausserordentlicher Einkünfte abzusehen; bereits entrichtete Steuerbeträge seien zurückzuerstatten. Im Übrigen ersuchen sie u.a. gestützt auf Art. 6 Ziff. 1 EMRK um die Anordnung eines zweiten Schriftenwechsels. E. Das Steueramt, die Rekurskommission sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.