Sachverhalt: Sachverhalt: A. X._ reichte trotz Mahnung des Gemeindesteueramts Thalwil keine Steuererklärung für die Periode 1997 bei der Staatssteuer und für die Periode 1997/98 bei der direkten Bundessteuer ein. Mit Entscheid vom 23. März 1999 schätzte ihn der Steuerkommissär für die Staats- und Gemeindesteuern 1997 nach Ermessen ein, wogegen X._ fristgerecht Einsprache erhob. Ebenfalls am 23. März 1999 verfasste der Steuerkommissär einen Hinweis für die direkte Bundessteuer der Periode 1997/98, worin er ausführte, er schätze X._ nach pflichtgemässem Ermessen mit einem steuerbaren Einkommen von Fr. 4'300'000.-- ein; die eigentliche Veranlagung werde später eröffnet, und erst dagegen sei eine Einsprache möglich. Dieser Hinweis wurde X._ zusammen mit der Staats- und Gemeindesteuer 1997 zugestellt. Ihm entsprach dann in der Folge die Veranlagungsverfügung für die Bundessteuer der Periode 1997/98, die das Datum vom 1. April 1999 trägt. A. X._ reichte trotz Mahnung des Gemeindesteueramts Thalwil keine Steuererklärung für die Periode 1997 bei der Staatssteuer und für die Periode 1997/98 bei der direkten Bundessteuer ein. Mit Entscheid vom 23. März 1999 schätzte ihn der Steuerkommissär für die Staats- und Gemeindesteuern 1997 nach Ermessen ein, wogegen X._ fristgerecht Einsprache erhob. Ebenfalls am 23. März 1999 verfasste der Steuerkommissär einen Hinweis für die direkte Bundessteuer der Periode 1997/98, worin er ausführte, er schätze X._ nach pflichtgemässem Ermessen mit einem steuerbaren Einkommen von Fr. 4'300'000.-- ein; die eigentliche Veranlagung werde später eröffnet, und erst dagegen sei eine Einsprache möglich. Dieser Hinweis wurde X._ zusammen mit der Staats- und Gemeindesteuer 1997 zugestellt. Ihm entsprach dann in der Folge die Veranlagungsverfügung für die Bundessteuer der Periode 1997/98, die das Datum vom 1. April 1999 trägt. B. Mit Einsprache vom 18. Mai 1999 beantragte X._, er sei bei der direkten Bundessteuer lediglich mit einem steuerbaren Einkommen von Fr. 120'000.-- einzuschätzen, da es sich bei der Haupteinkunft in der fraglichen Bemessungsperiode - nämlich der Zuwendung, die erst zum ausserordentlich hohen Einkommensbetrag geführt habe - um ein Vermächtnis aus Gründen persönlicher Verbundenheit und nicht um einen Ertrag aus einer Geschäftsbeziehung handle. Die Veranlagungsverfügung habe er erst am 19. April 1999 erhalten, weshalb die Einsprachefrist gewahrt sei. Nachdem Nachforschungen des Kantonalen Steueramts Zürich ergeben hatten, dass X._ am 13. April 1999 eine am Vortag versandte Sendung des Steueramts der Gemeinde Thalwil zugestellt worden war, trat das Kantonale Steueramt am 15. Juni 1999 wegen Verspätung auf die Einsprache nicht ein. Dagegen führte X._ Beschwerde bei der Bundessteuer-Rekurskommission des Kantons Zürich. Das Verfahren blieb während mehr als drei Jahren sistiert, bis das Parallelverfahren zu den kantonalen Steuern rechtskräftig erledigt war. Nach der Wiederaufnahme des Verfahrens nahm die Bundessteuer-Rekurskommission ergänzende Abklärungen vor. Am 10. September 2003 wies die Bundessteuer-Rekurskommission die Beschwerde ab, soweit sie darauf eintrat. Dagegen führte X._ Beschwerde bei der Bundessteuer-Rekurskommission des Kantons Zürich. Das Verfahren blieb während mehr als drei Jahren sistiert, bis das Parallelverfahren zu den kantonalen Steuern rechtskräftig erledigt war. Nach der Wiederaufnahme des Verfahrens nahm die Bundessteuer-Rekurskommission ergänzende Abklärungen vor. Am 10. September 2003 wies die Bundessteuer-Rekurskommission die Beschwerde ab, soweit sie darauf eintrat. C. Mit Verwaltungsgerichtsbeschwerde vom 15. Oktober 2003 an das Bundesgericht stellt X._ die folgenden Anträge: "1. Es sei der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich vom 10. September 2003 (Gesch.Nr. 4 DB.1999.57) aufzuheben; 2. Es sei festzustellen, dass die am 18. Mai 1999 erhobene Einsprache gegen die Veranlagungsverfügung für die Bundessteuer-Periode 1997/98 rechtzeitig erhoben wurde und demgemäss durch die zuständigen Instanzen materiell zu behandeln sei; 3. Eventualiter: Es sei die Sache an die Vorinstanz zur Vervollständigung des Sachverhalts zurückzuweisen; ..." Zur Begründung führt X._ im Wesentlichen aus, die Veranlagungsverfügungen für die Bundessteuer seien ihm nicht vor dem 19. April zugestellt worden, weshalb die Feststellung der Rekurskommission, er habe die definitive Steuerrechnung für 1997/98 am 13. April 1999 erhalten, nicht zutreffe. Das Kantonale Steueramt Zürich, die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung, Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben, schliessen auf Abweisung der Beschwerde.