Sachverhalt: Sachverhalt: A. A.X._ führt das Restaurant "Z._" in E._ in der Rechtsform einer Einzelunternehmung, wobei seine Ehefrau, B.X._, im Betrieb mitarbeitet. Früher war ebenfalls der Sohn, C.X._, von Beruf Koch, im elterlichen Betrieb beschäftigt, übernahm dann aber im Jahre 1996 den Restaurationsbetrieb "Linde" in F._. Sein Vater beteiligte sich u.a. an der Auswahl und der Miete der Betriebsliegenschaft (der Vertrag lautet auf C.X._ und A. X._), der Ausarbeitung des Betriebskonzeptes, der Finanzierung sowie der Personalakquisition. Für die direkte Bundessteuer 1999/2000 deklarierten die Eheleute X._ ein steuerbares Einkommen von Fr. 44'290.-- , nachdem sie in den Jahresrechnungen 1997 und 1998 einen ausserordentlichen Aufwand für Leistungen aus Solidarhaftung "Restaurant Linde F._" von Fr. 62'971.30 (1997) bzw. Fr. 180'989.55 [recte: Fr. 181'062.15] (1998) geltend gemacht hatten. Die Steuerverwaltung des Kantons Bern schätzte jedoch die Eheleute X._ auf ein Einkommen von Fr. 163'100.-- ein, indem sie die geltend gemachten Aufwendungen aus der Bürgschaft für den Sohn im Durchschnittsbetrag von Fr. 122'016.-- nicht als geschäftsmässig begründet anerkannte. Von dieser Auffassung rückte sie auch in ihrer Einspracheverfügung vom 22. Mai 2001 nicht ab. Die Steuerrekurskommission des Kantons Bern wies eine dagegen gerichtete Beschwerde am 20. April 2004 ab. Für die direkte Bundessteuer 1999/2000 deklarierten die Eheleute X._ ein steuerbares Einkommen von Fr. 44'290.-- , nachdem sie in den Jahresrechnungen 1997 und 1998 einen ausserordentlichen Aufwand für Leistungen aus Solidarhaftung "Restaurant Linde F._" von Fr. 62'971.30 (1997) bzw. Fr. 180'989.55 [recte: Fr. 181'062.15] (1998) geltend gemacht hatten. Die Steuerverwaltung des Kantons Bern schätzte jedoch die Eheleute X._ auf ein Einkommen von Fr. 163'100.-- ein, indem sie die geltend gemachten Aufwendungen aus der Bürgschaft für den Sohn im Durchschnittsbetrag von Fr. 122'016.-- nicht als geschäftsmässig begründet anerkannte. Von dieser Auffassung rückte sie auch in ihrer Einspracheverfügung vom 22. Mai 2001 nicht ab. Die Steuerrekurskommission des Kantons Bern wies eine dagegen gerichtete Beschwerde am 20. April 2004 ab. B. Gegen den Entscheid der Steuerrekurskommission des Kantons Bern vom 20. April 2004 (eröffnet am 28. April 2004) führen die Eheleute X._ mit Eingabe vom 28. Mai 2004 Verwaltungsgerichtsbeschwerde an das Bundesgericht mit dem Antrag, die Veranlagung sei um den geschäftlichen Verlust aus Solidarhaftung/einfache Gesellschaft Restaurant Linde F._, in der Höhe von durchschnittlich Fr. 122'016.-- herabzusetzen. B. Gegen den Entscheid der Steuerrekurskommission des Kantons Bern vom 20. April 2004 (eröffnet am 28. April 2004) führen die Eheleute X._ mit Eingabe vom 28. Mai 2004 Verwaltungsgerichtsbeschwerde an das Bundesgericht mit dem Antrag, die Veranlagung sei um den geschäftlichen Verlust aus Solidarhaftung/einfache Gesellschaft Restaurant Linde F._, in der Höhe von durchschnittlich Fr. 122'016.-- herabzusetzen. C. Die Steuerverwaltung des Kantons Bern sowie die Steuerrekurskommission des Kantons Bern beantragen die Abweisung der Beschwerde, Letztere unter Hinweis auf die Erwägungen im angefochtenen Entscheid. Die Eidgenössische Steuerverwaltung, Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben, schliesst ebenfalls auf Abweisung der Beschwerde.