Sachverhalt: Sachverhalt: A. Betreffend die direkte Bundessteuer 1991/92 wurden X._ und seine Ehefrau am 19. August 1996 auf ein steuerbares Einkommen von Fr. 640‘300.-- veranlagt. Ihre dagegen erhobene Einsprache hiess das Kantonale Steueramt Zürich mit Entscheid vom 12. März 1999 teilweise gut und setzte das steuerbare Einkommen auf Fr. 392‘100.-- fest. Hiergegen gelangten die Eheleute an die Bundessteuer-Rekurskommission des Kantons Zürich (im Folgenden: Rekurskommission); sie hielten an ihrem Antrag fest, gemäss Selbstdeklaration mit einem steuerbaren Einkommen von Fr. 106‘000.-- veranlagt zu werden. Mit Entscheid vom 26. Juni 2002 trat die Rekurskommission auf die Beschwerde der Ehefrau nicht ein und wies die Beschwerde von X._ ab; ausserdem setzte sie das steuerbare Einkommen neu auf Fr. 581‘800.-- fest. A. Betreffend die direkte Bundessteuer 1991/92 wurden X._ und seine Ehefrau am 19. August 1996 auf ein steuerbares Einkommen von Fr. 640‘300.-- veranlagt. Ihre dagegen erhobene Einsprache hiess das Kantonale Steueramt Zürich mit Entscheid vom 12. März 1999 teilweise gut und setzte das steuerbare Einkommen auf Fr. 392‘100.-- fest. Hiergegen gelangten die Eheleute an die Bundessteuer-Rekurskommission des Kantons Zürich (im Folgenden: Rekurskommission); sie hielten an ihrem Antrag fest, gemäss Selbstdeklaration mit einem steuerbaren Einkommen von Fr. 106‘000.-- veranlagt zu werden. Mit Entscheid vom 26. Juni 2002 trat die Rekurskommission auf die Beschwerde der Ehefrau nicht ein und wies die Beschwerde von X._ ab; ausserdem setzte sie das steuerbare Einkommen neu auf Fr. 581‘800.-- fest. B. X._ reichte hierauf beim Bundesgericht Verwaltungsgerichtsbeschwerde ein. Er rügte unter anderem eine Verletzung des rechtlichen Gehörs, weil die Rekurskommission ohne vorherige Anhörung eine reformatio in peius vorgenommen hatte. Mit Urteil vom 24. März 2003 erachtete das Bundesgericht diese Rüge als begründet, ohne auf die weiteren (materiellen) Rügen einzugehen. Es hiess daher die Beschwerde in dem Sinne gut, dass der angefochtene Entscheid betreffend X._ aufgehoben und die Angelegenheit zur Weiterführung des Verfahrens mit Gewährung des rechtlichen Gehörs an die Rekurskommission zurückgewiesen wurde (Urteil 2A.403/2002, publ. in StR 58/2003 S. 454 und ZStP 2003 S. 188 mit Anmerkung). B. X._ reichte hierauf beim Bundesgericht Verwaltungsgerichtsbeschwerde ein. Er rügte unter anderem eine Verletzung des rechtlichen Gehörs, weil die Rekurskommission ohne vorherige Anhörung eine reformatio in peius vorgenommen hatte. Mit Urteil vom 24. März 2003 erachtete das Bundesgericht diese Rüge als begründet, ohne auf die weiteren (materiellen) Rügen einzugehen. Es hiess daher die Beschwerde in dem Sinne gut, dass der angefochtene Entscheid betreffend X._ aufgehoben und die Angelegenheit zur Weiterführung des Verfahrens mit Gewährung des rechtlichen Gehörs an die Rekurskommission zurückgewiesen wurde (Urteil 2A.403/2002, publ. in StR 58/2003 S. 454 und ZStP 2003 S. 188 mit Anmerkung). C. Mit Entscheid vom 5. August 2003 wies die Rekurskommission die Beschwerde von X._ erneut ab und schätzte ihn wiederum mit einem steuerbaren Einkommen von Fr. 581'800.-- ein. C. Mit Entscheid vom 5. August 2003 wies die Rekurskommission die Beschwerde von X._ erneut ab und schätzte ihn wiederum mit einem steuerbaren Einkommen von Fr. 581'800.-- ein. D. Hierauf hat X._ am 11. September 2003 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er stellt den - mit der ersten Verwaltungsgerichtsbeschwerde (Verfahren 2A.403/2002) wortgleichen - Antrag, den Entscheid der Rekurskommission aufzuheben und "die Einschätzung 1991/92 (...) gemäss Steuererklärung gestützt auf ein steuerbares Einkommen von Fr. 106‘000.-- vorzunehmen". Wiederum rügt X._ eine Verletzung des rechtlichen Gehörs. D. Hierauf hat X._ am 11. September 2003 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er stellt den - mit der ersten Verwaltungsgerichtsbeschwerde (Verfahren 2A.403/2002) wortgleichen - Antrag, den Entscheid der Rekurskommission aufzuheben und "die Einschätzung 1991/92 (...) gemäss Steuererklärung gestützt auf ein steuerbares Einkommen von Fr. 106‘000.-- vorzunehmen". Wiederum rügt X._ eine Verletzung des rechtlichen Gehörs. E. Die Bundessteuer-Rekurskommission des Kantons Zürich sowie die Eidgenössische Steuerverwaltung (Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben) schliessen auf Abweisung der Beschwerde. Das Kantonale Steueramt Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist.