Sachverhalt:
Sachverhalt:
A. Betreffend die direkte Bundessteuer 1991/92 wurden X._ und seine Ehefrau am 19. August 1996 auf ein steuerbares Einkommen von Fr. 640‘300.-- veranlagt. Ihre dagegen erhobene Einsprache hiess das Kantonale Steueramt Zürich mit Entscheid vom 12. März 1999 teilweise gut und setzte das steuerbare Einkommen auf Fr. 392‘100.-- fest. Hiergegen gelangten die Eheleute an die Bundessteuer-Rekurskommission des Kantons Zürich (im Folgenden: Rekurskommission); sie hielten an ihrem Antrag fest, gemäss Selbstdeklaration mit einem steuerbaren Einkommen von Fr. 106‘000.-- veranlagt zu werden. Mit Entscheid vom 26. Juni 2002 trat die Rekurskommission auf die Beschwerde der Ehefrau nicht ein und wies die Beschwerde von X._ ab; ausserdem setzte sie das steuerbare Einkommen neu auf Fr. 581‘800.-- fest.
A. Betreffend die direkte Bundessteuer 1991/92 wurden X._ und seine Ehefrau am 19. August 1996 auf ein steuerbares Einkommen von Fr. 640‘300.-- veranlagt. Ihre dagegen erhobene Einsprache hiess das Kantonale Steueramt Zürich mit Entscheid vom 12. März 1999 teilweise gut und setzte das steuerbare Einkommen auf Fr. 392‘100.-- fest. Hiergegen gelangten die Eheleute an die Bundessteuer-Rekurskommission des Kantons Zürich (im Folgenden: Rekurskommission); sie hielten an ihrem Antrag fest, gemäss Selbstdeklaration mit einem steuerbaren Einkommen von Fr. 106‘000.-- veranlagt zu werden. Mit Entscheid vom 26. Juni 2002 trat die Rekurskommission auf die Beschwerde der Ehefrau nicht ein und wies die Beschwerde von X._ ab; ausserdem setzte sie das steuerbare Einkommen neu auf Fr. 581‘800.-- fest.
B. X._ reichte hierauf beim Bundesgericht Verwaltungsgerichtsbeschwerde ein. Er rügte unter anderem eine Verletzung des rechtlichen Gehörs, weil die Rekurskommission ohne vorherige Anhörung eine reformatio in peius vorgenommen hatte. Mit Urteil vom 24. März 2003 erachtete das Bundesgericht diese Rüge als begründet, ohne auf die weiteren (materiellen) Rügen einzugehen. Es hiess daher die Beschwerde in dem Sinne gut, dass der angefochtene Entscheid betreffend X._ aufgehoben und die Angelegenheit zur Weiterführung des Verfahrens mit Gewährung des rechtlichen Gehörs an die Rekurskommission zurückgewiesen wurde (Urteil 2A.403/2002, publ. in StR 58/2003 S. 454 und ZStP 2003 S. 188 mit Anmerkung).
B. X._ reichte hierauf beim Bundesgericht Verwaltungsgerichtsbeschwerde ein. Er rügte unter anderem eine Verletzung des rechtlichen Gehörs, weil die Rekurskommission ohne vorherige Anhörung eine reformatio in peius vorgenommen hatte. Mit Urteil vom 24. März 2003 erachtete das Bundesgericht diese Rüge als begründet, ohne auf die weiteren (materiellen) Rügen einzugehen. Es hiess daher die Beschwerde in dem Sinne gut, dass der angefochtene Entscheid betreffend X._ aufgehoben und die Angelegenheit zur Weiterführung des Verfahrens mit Gewährung des rechtlichen Gehörs an die Rekurskommission zurückgewiesen wurde (Urteil 2A.403/2002, publ. in StR 58/2003 S. 454 und ZStP 2003 S. 188 mit Anmerkung).
C. Mit Entscheid vom 5. August 2003 wies die Rekurskommission die Beschwerde von X._ erneut ab und schätzte ihn wiederum mit einem steuerbaren Einkommen von Fr. 581'800.-- ein.
C. Mit Entscheid vom 5. August 2003 wies die Rekurskommission die Beschwerde von X._ erneut ab und schätzte ihn wiederum mit einem steuerbaren Einkommen von Fr. 581'800.-- ein.
D. Hierauf hat X._ am 11. September 2003 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er stellt den - mit der ersten Verwaltungsgerichtsbeschwerde (Verfahren 2A.403/2002) wortgleichen - Antrag, den Entscheid der Rekurskommission aufzuheben und "die Einschätzung 1991/92 (...) gemäss Steuererklärung gestützt auf ein steuerbares Einkommen von Fr. 106‘000.-- vorzunehmen". Wiederum rügt X._ eine Verletzung des rechtlichen Gehörs.
D. Hierauf hat X._ am 11. September 2003 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er stellt den - mit der ersten Verwaltungsgerichtsbeschwerde (Verfahren 2A.403/2002) wortgleichen - Antrag, den Entscheid der Rekurskommission aufzuheben und "die Einschätzung 1991/92 (...) gemäss Steuererklärung gestützt auf ein steuerbares Einkommen von Fr. 106‘000.-- vorzunehmen". Wiederum rügt X._ eine Verletzung des rechtlichen Gehörs.
E. Die Bundessteuer-Rekurskommission des Kantons Zürich sowie die Eidgenössische Steuerverwaltung (Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben) schliessen auf Abweisung der Beschwerde. Das Kantonale Steueramt Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten ist.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Der rechtzeitig angefochtene Entscheid der Rekurskommission ist ein kantonal letztinstanzliches Urteil, gegen welches die Verwaltungsgerichtsbeschwerde an das Bundesgericht zulässig ist (Art. 97 Abs. 1 OG in Verbindung mit Art. 5 des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren [VwVG; SR 172.021] sowie Art. 98 lit. g OG und Art. 112 Abs. 1 des Bundesratsbeschlusses vom 9. Dezember 1940 über die Erhebung einer direkten Bundessteuer [BdBSt] bzw. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Zwar hat das Bundesgericht in einem neuen, zur Publikation bestimmten Urteil ausgeführt, dass wenn - wie hier - für die von der Steuerharmonisierung erfassten kantonalen Steuern ein zweistufiges Rechtsmittelverfahren im Kanton vorgesehen ist, dies ebenso für die entsprechende direkte Bundessteuer gelten muss (BGE 2A.355/2003 vom 19. Dezember 2003; vgl. zudem <ref-ruling> E. 6.4 S. 323 f.; § 153 des Zürcher Steuergesetzes vom 8. Juni 1997, § 95 des Zürcher Gesetzes vom 8. Juli 1951 über die direkten Steuern, und § 13 der Zürcher Verordnung vom 4. November 1998 über die Durchführung des Bundesgesetzes über die direkte Bundessteuer). Das betrifft indes nicht die hier interessierenden Steuerperioden, da sie zeitlich nicht in den Bereich der Verbindlichkeit des Steuerharmonisierungsrechts fallen (vgl. Urteil des Bundesgerichts 2A.323/2003 vom 30. Januar 2004, E. 1.1; Art. 72 Abs. 1 und Art. 69 Abs. 7 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
1. Der rechtzeitig angefochtene Entscheid der Rekurskommission ist ein kantonal letztinstanzliches Urteil, gegen welches die Verwaltungsgerichtsbeschwerde an das Bundesgericht zulässig ist (Art. 97 Abs. 1 OG in Verbindung mit Art. 5 des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren [VwVG; SR 172.021] sowie Art. 98 lit. g OG und Art. 112 Abs. 1 des Bundesratsbeschlusses vom 9. Dezember 1940 über die Erhebung einer direkten Bundessteuer [BdBSt] bzw. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Zwar hat das Bundesgericht in einem neuen, zur Publikation bestimmten Urteil ausgeführt, dass wenn - wie hier - für die von der Steuerharmonisierung erfassten kantonalen Steuern ein zweistufiges Rechtsmittelverfahren im Kanton vorgesehen ist, dies ebenso für die entsprechende direkte Bundessteuer gelten muss (BGE 2A.355/2003 vom 19. Dezember 2003; vgl. zudem <ref-ruling> E. 6.4 S. 323 f.; § 153 des Zürcher Steuergesetzes vom 8. Juni 1997, § 95 des Zürcher Gesetzes vom 8. Juli 1951 über die direkten Steuern, und § 13 der Zürcher Verordnung vom 4. November 1998 über die Durchführung des Bundesgesetzes über die direkte Bundessteuer). Das betrifft indes nicht die hier interessierenden Steuerperioden, da sie zeitlich nicht in den Bereich der Verbindlichkeit des Steuerharmonisierungsrechts fallen (vgl. Urteil des Bundesgerichts 2A.323/2003 vom 30. Januar 2004, E. 1.1; Art. 72 Abs. 1 und Art. 69 Abs. 7 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]).
2. Vorab ist auf die neuerliche Rüge der Verletzung des rechtlichen Gehörs einzugehen.
2.1 Das Bundesgericht hat mit Urteil 2A.403/2002 vom 24. März 2003 die Angelegenheit zur Weiterführung des Verfahrens mit Gewährung des rechtlichen Gehörs an die Rekurskommission zurückgewiesen. Diese hat in der Folge davon abgesehen, dem Steuerpflichtigen vor Erlass des hier angefochtenen Entscheids vom 5. August 2003 nochmals eigens Gelegenheit zu geben, sich zu äussern. Mit Eröffnung ihres ersten Urteils vom 26. Juni 2002 seien dem Beschwerdeführer die Gründe mitgeteilt worden, die zur Verböserung geführt hatten. In seiner dagegen gerichteten Beschwerde ans Bundesgericht (Verfahren 2A.403/2002) habe er dazu Stellung nehmen können, was er dort auch ausgiebig gemacht habe. Daher erübrige es sich, ihn im zweiten Rechtsgang einzuladen, seine Einwendungen vorzulegen. Es genüge, sich mit den aktenkundigen Argumenten auseinanderzusetzen. Eine Einladung zur erneuten Stellungnahme würde sich als leerer Formalismus erweisen.
2.2 Der Anspruch auf rechtliches Gehör ist gemäss <ref-law> gewährleistet. Aus dieser verfassungsrechtlichen Garantie ergibt sich, dass eine Behörde, die beabsichtigt, auf ein Rechtsmittel hin zu einer reformatio in peius zu schreiten, die betroffene Partei vorgängig darauf aufmerksam machen und ihr Gelegenheit zu einer Stellungnahme einräumen muss (<ref-ruling> E. 2a S. 167). Wenn der von der Rekurskommission angewandte <ref-law> festhält, dass eine Veranlagung "nach Anhören des Steuerpflichtigen" zu dessen Nachteil abgeändert werden kann, so darf die Rekurskommission diese Bestimmung nicht gegen ihren Wortlaut und gegen die aus der Verfassung fliessenden Prinzipien einschränkend auslegen (vgl. Urteil 2A.403/2002, E. 2.2 in fine, mit Hinweisen).
Weil die Rekurskommission demnach im ersten Rechtsgang eine reformatio in peius unter Verletzung des Anspruchs auf rechtliches Gehör vorgenommen hatte, ist ihr ursprüngliches Urteil vom 26. Juni 2002 aufgehoben und die Sache zur Weiterführung des Verfahrens, d.h. zur Vornahme der Anhörung, an sie zurückgewiesen worden (Urteil 2A.403/2002, E. 3.1). Trotz dieser klaren Anweisung sah die Rekurskommission von der Einholung einer Stellungnahme des Beschwerdeführers ab. Setzt sich eine kantonale Instanz aber über die verbindlichen Erwägungen eines Rückweisungsentscheides des Bundesgerichts hinweg, so begeht sie eine Rechtsverweigerung; eine solche führt ohne weiteres zur Aufhebung des angefochtenen Entscheides (Urteil A.95/1987 vom 6. November 1987, publ. in ASA 58 S. 421, StR 44/1989 S. 235 und StE 1989 B 23.5 Nr. 4, E. 2c).
Zudem übersieht die Rekurskommission, dass das Bundesgericht an die Feststellung des Sachverhaltes durch die Vorinstanz als richterliche Behörde grundsätzlich gebunden ist (vgl. Art. 105 Abs. 2 OG) und im bundesgerichtlichen Verfahren die Unangemessenheit des angefochtenen Entscheids nicht gerügt werden kann (vgl. Art. 104 lit. c OG). Demgegenüber kann die Rekurskommission nicht nur alle Rechts-, sondern auch sämtliche Tatfragen frei beurteilen; im Beschwerdeverfahren vor der kantonalen Rekurskommission sind neue tatsächliche Behauptungen und Beweismittel zulässig (vgl. Art. 140 Abs. 3, 142 Abs. 4 und 143 Abs. 1 DBG; Felix Richner/Walter Frei/ Stefan Kaufmann, Handkommentar zum DBG, 2003, N. 32-37 zu <ref-law>). Bei Gewährung des rechtlichen Gehörs durch die Rekurskommission hätte der Beschwerdeführer somit allenfalls neue Tatsachen und Beweismittel vorbringen können, die er - wegen der genannten Besonderheiten des bundesgerichtlichen Verfahrens - noch nicht in seiner Eingabe ans Bundesgericht im ersten Rechtsgang erwähnt hatte. Das Einholen einer Stellungnahme beim Beschwerdeführer stellt bereits deshalb keinen "leeren Formalismus" dar. In Mitberücksichtigung dessen hat das Bundesgericht die Angelegenheit nicht nur zu neuem Entscheid an die Vorinstanz zurückgewiesen, sondern auch zur Vornahme der Anhörung (vgl. E. 2.3 und E. 3.1 des vorangegangenen Urteils 2A.403/2002). Die Rekurskommission durfte daher nicht davon ausgehen, der Beschwerdeführer habe in seiner Eingabe ans Bundesgericht im ersten Rechtsgang bereits ausgiebig zu den für die reformatio in peius angeführten Gründen Stellung nehmen können bzw. sogar schon Stellung genommen.
Zudem übersieht die Rekurskommission, dass das Bundesgericht an die Feststellung des Sachverhaltes durch die Vorinstanz als richterliche Behörde grundsätzlich gebunden ist (vgl. Art. 105 Abs. 2 OG) und im bundesgerichtlichen Verfahren die Unangemessenheit des angefochtenen Entscheids nicht gerügt werden kann (vgl. Art. 104 lit. c OG). Demgegenüber kann die Rekurskommission nicht nur alle Rechts-, sondern auch sämtliche Tatfragen frei beurteilen; im Beschwerdeverfahren vor der kantonalen Rekurskommission sind neue tatsächliche Behauptungen und Beweismittel zulässig (vgl. Art. 140 Abs. 3, 142 Abs. 4 und 143 Abs. 1 DBG; Felix Richner/Walter Frei/ Stefan Kaufmann, Handkommentar zum DBG, 2003, N. 32-37 zu <ref-law>). Bei Gewährung des rechtlichen Gehörs durch die Rekurskommission hätte der Beschwerdeführer somit allenfalls neue Tatsachen und Beweismittel vorbringen können, die er - wegen der genannten Besonderheiten des bundesgerichtlichen Verfahrens - noch nicht in seiner Eingabe ans Bundesgericht im ersten Rechtsgang erwähnt hatte. Das Einholen einer Stellungnahme beim Beschwerdeführer stellt bereits deshalb keinen "leeren Formalismus" dar. In Mitberücksichtigung dessen hat das Bundesgericht die Angelegenheit nicht nur zu neuem Entscheid an die Vorinstanz zurückgewiesen, sondern auch zur Vornahme der Anhörung (vgl. E. 2.3 und E. 3.1 des vorangegangenen Urteils 2A.403/2002). Die Rekurskommission durfte daher nicht davon ausgehen, der Beschwerdeführer habe in seiner Eingabe ans Bundesgericht im ersten Rechtsgang bereits ausgiebig zu den für die reformatio in peius angeführten Gründen Stellung nehmen können bzw. sogar schon Stellung genommen.
3. 3.1 Die vorliegende Verwaltungsgerichtsbeschwerde erweist sich somit als begründet und ist gutzuheissen. Auf die materiellen Rügen des Beschwerdeführers ist hier wiederum nicht einzugehen. Der angefochtene Entscheid ist aufzuheben und die Angelegenheit an die kantonale Steuerrekurskommission zur Weiterführung des Verfahrens zurückzuweisen. In Bezug auf die reformatio in peius wird die Rekurskommission dem Beschwerdeführer zunächst ausdrücklich Gelegenheit zur Stellungnahme einräumen müssen, bevor sie erneut entscheidet.
3.2 Dem Verfahrensausgang entsprechend sind die bundesgerichtlichen Kosten dem Kanton Zürich, um dessen Vermögensinteressen es auch geht, aufzuerlegen (Art. 156 Abs. 1 und 2 in Verbindung mit Art. 153 und 153a OG). Dieser hat dem Beschwerdeführer ferner eine Parteientschädigung auszurichten (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird gutgeheissen. Der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich vom 5. August 2003 wird aufgehoben und die Angelegenheit zur Weiterführung des Verfahrens an die Bundessteuer-Rekurskommission zurückgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird gutgeheissen. Der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich vom 5. August 2003 wird aufgehoben und die Angelegenheit zur Weiterführung des Verfahrens an die Bundessteuer-Rekurskommission zurückgewiesen.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Kanton Zürich auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Kanton Zürich auferlegt.
3. Der Kanton Zürich wird verpflichtet, dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
3. Der Kanton Zürich wird verpflichtet, dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Steueramt Zürich und der Bundessteuer-Rekurskommission des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 15. März 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: