Sachverhalt: Sachverhalt: A. X._ war als Bauingenieur selbständig erwerbstätig. Er deklarierte für die direkte Bundessteuer 1999/2000 ein Einkommen von Fr. 64'850.-- unter Berücksichtigung eines durchschnittlichen Verlustes der Bemessungsjahre 1997/98 von Fr. 71'913.--. Demgegenüber ging die Steuerverwaltung davon aus, dass der Steuerpflichtige seine Erwerbstätigkeit bereits per Ende 1998 aufgegeben habe und der Verlust nicht mehr berücksichtigt werden könne. An dieser Auffassung hielt sie auch in der Einspracheverfügung vom 4. Juni 2002 fest. Die Einschätzung für die direkte Bundessteuer 1999/2000 lautet auf ein Einkommen von Fr. 150'500.--. A. X._ war als Bauingenieur selbständig erwerbstätig. Er deklarierte für die direkte Bundessteuer 1999/2000 ein Einkommen von Fr. 64'850.-- unter Berücksichtigung eines durchschnittlichen Verlustes der Bemessungsjahre 1997/98 von Fr. 71'913.--. Demgegenüber ging die Steuerverwaltung davon aus, dass der Steuerpflichtige seine Erwerbstätigkeit bereits per Ende 1998 aufgegeben habe und der Verlust nicht mehr berücksichtigt werden könne. An dieser Auffassung hielt sie auch in der Einspracheverfügung vom 4. Juni 2002 fest. Die Einschätzung für die direkte Bundessteuer 1999/2000 lautet auf ein Einkommen von Fr. 150'500.--. B. Eine Beschwerde der Steuerpflichtigen gegen diese Veranlagung wies die Steuerrekurskommission des Kantons Bern mit Entscheid vom 17. Februar 2004 ab. B. Eine Beschwerde der Steuerpflichtigen gegen diese Veranlagung wies die Steuerrekurskommission des Kantons Bern mit Entscheid vom 17. Februar 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde beantragen die Eheleute X._, der Entscheid der Steuerrekurskommission des Kantons Bern vom 17. Februar 2004 sei aufzuheben und das Einkommen für die direkte Bundessteuer 1999/2000 sei auf Fr. 64'850.-- festzulegen. Steuerverwaltung und Steuerrekurskommission des Kantons Bern beantragen mit Hinweis auf die Erwägungen im angefochtenen Entscheid, die Verwaltungsgerichtsbeschwerde sei abzuweisen. Die Eidgenössische Steuerverwaltung schliesst in ihrer Vernehmlassung ebenfalls auf Abweisung der Beschwerde.