Sachverhalt:
Sachverhalt:
A. X._ reichte trotz Mahnung des Gemeindesteueramts Thalwil keine Steuererklärung für die Periode 1997 bei der Staatssteuer und für die Periode 1997/98 bei der direkten Bundessteuer ein. Mit Entscheid vom 23. März 1999 schätzte ihn der Steuerkommissär für die Staats- und Gemeindesteuern 1997 nach Ermessen ein, wogegen X._ fristgerecht Einsprache erhob. Ebenfalls am 23. März 1999 verfasste der Steuerkommissär einen Hinweis für die direkte Bundessteuer der Periode 1997/98, worin er ausführte, er schätze X._ nach pflichtgemässem Ermessen mit einem steuerbaren Einkommen von Fr. 4'300'000.-- ein; die eigentliche Veranlagung werde später eröffnet, und erst dagegen sei eine Einsprache möglich. Dieser Hinweis wurde X._ zusammen mit der Staats- und Gemeindesteuer 1997 zugestellt. Ihm entsprach dann in der Folge die Veranlagungsverfügung für die Bundessteuer der Periode 1997/98, die das Datum vom 1. April 1999 trägt.
A. X._ reichte trotz Mahnung des Gemeindesteueramts Thalwil keine Steuererklärung für die Periode 1997 bei der Staatssteuer und für die Periode 1997/98 bei der direkten Bundessteuer ein. Mit Entscheid vom 23. März 1999 schätzte ihn der Steuerkommissär für die Staats- und Gemeindesteuern 1997 nach Ermessen ein, wogegen X._ fristgerecht Einsprache erhob. Ebenfalls am 23. März 1999 verfasste der Steuerkommissär einen Hinweis für die direkte Bundessteuer der Periode 1997/98, worin er ausführte, er schätze X._ nach pflichtgemässem Ermessen mit einem steuerbaren Einkommen von Fr. 4'300'000.-- ein; die eigentliche Veranlagung werde später eröffnet, und erst dagegen sei eine Einsprache möglich. Dieser Hinweis wurde X._ zusammen mit der Staats- und Gemeindesteuer 1997 zugestellt. Ihm entsprach dann in der Folge die Veranlagungsverfügung für die Bundessteuer der Periode 1997/98, die das Datum vom 1. April 1999 trägt.
B. Mit Einsprache vom 18. Mai 1999 beantragte X._, er sei bei der direkten Bundessteuer lediglich mit einem steuerbaren Einkommen von Fr. 120'000.-- einzuschätzen, da es sich bei der Haupteinkunft in der fraglichen Bemessungsperiode - nämlich der Zuwendung, die erst zum ausserordentlich hohen Einkommensbetrag geführt habe - um ein Vermächtnis aus Gründen persönlicher Verbundenheit und nicht um einen Ertrag aus einer Geschäftsbeziehung handle. Die Veranlagungsverfügung habe er erst am 19. April 1999 erhalten, weshalb die Einsprachefrist gewahrt sei. Nachdem Nachforschungen des Kantonalen Steueramts Zürich ergeben hatten, dass X._ am 13. April 1999 eine am Vortag versandte Sendung des Steueramts der Gemeinde Thalwil zugestellt worden war, trat das Kantonale Steueramt am 15. Juni 1999 wegen Verspätung auf die Einsprache nicht ein.
Dagegen führte X._ Beschwerde bei der Bundessteuer-Rekurskommission des Kantons Zürich. Das Verfahren blieb während mehr als drei Jahren sistiert, bis das Parallelverfahren zu den kantonalen Steuern rechtskräftig erledigt war. Nach der Wiederaufnahme des Verfahrens nahm die Bundessteuer-Rekurskommission ergänzende Abklärungen vor. Am 10. September 2003 wies die Bundessteuer-Rekurskommission die Beschwerde ab, soweit sie darauf eintrat.
Dagegen führte X._ Beschwerde bei der Bundessteuer-Rekurskommission des Kantons Zürich. Das Verfahren blieb während mehr als drei Jahren sistiert, bis das Parallelverfahren zu den kantonalen Steuern rechtskräftig erledigt war. Nach der Wiederaufnahme des Verfahrens nahm die Bundessteuer-Rekurskommission ergänzende Abklärungen vor. Am 10. September 2003 wies die Bundessteuer-Rekurskommission die Beschwerde ab, soweit sie darauf eintrat.
C. Mit Verwaltungsgerichtsbeschwerde vom 15. Oktober 2003 an das Bundesgericht stellt X._ die folgenden Anträge:
"1. Es sei der Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich vom 10. September 2003 (Gesch.Nr. 4 DB.1999.57) aufzuheben;
2. Es sei festzustellen, dass die am 18. Mai 1999 erhobene Einsprache gegen die Veranlagungsverfügung für die Bundessteuer-Periode 1997/98 rechtzeitig erhoben wurde und demgemäss durch die zuständigen Instanzen materiell zu behandeln sei;
3. Eventualiter: Es sei die Sache an die Vorinstanz zur Vervollständigung des Sachverhalts zurückzuweisen;
..."
Zur Begründung führt X._ im Wesentlichen aus, die Veranlagungsverfügungen für die Bundessteuer seien ihm nicht vor dem 19. April zugestellt worden, weshalb die Feststellung der Rekurskommission, er habe die definitive Steuerrechnung für 1997/98 am 13. April 1999 erhalten, nicht zutreffe.
Das Kantonale Steueramt Zürich, die Bundessteuer-Rekurskommission des Kantons Zürich und die Eidgenössische Steuerverwaltung, Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben, schliessen auf Abweisung der Beschwerde.
Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Der angefochtene Entscheid der Bundessteuer-Rekurskommission des Kantons Zürich ist ein auf Steuerrecht des Bundes gestütztes, letztinstanzliches kantonales Urteil, das mit Verwaltungsgerichtsbeschwerde beim Bundesgericht angefochten werden kann (Art. 97 Abs. 1 OG in Verbindung mit Art. 5 VwVG und Art. 98 lit. g OG sowie Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 621.11]). Der Beschwerdeführer ist durch den angefochtenen Entscheid beschwert und nach Art. 103 lit. a OG zur Beschwerdeführung legitimiert. Auf seine form- und fristgerecht eingereichte Beschwerde ist einzutreten.
1.2 Mit der Verwaltungsgerichtsbeschwerde können die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens (Art. 104 lit. a OG) gerügt werden. Hat - wie hier - als Vorinstanz eine richterliche Behörde entschieden, so ist das Bundesgericht jedoch an deren Sachverhaltsfeststellung gebunden, wenn der Sachverhalt nicht offensichtlich unrichtig oder unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften ermittelt worden ist (Art. 105 Abs. 2 OG). Offensichtlich unrichtig ist die Sachverhaltsfeststellung nicht schon dann, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (Fritz Gygi, Bundesverwaltungsrechtspflege, 2. Aufl., Bern 1983, S. 286, mit Hinweisen).
1.3 Mit Verfügung vom 15. Juni 1999 ist das Kantonale Steueramt auf die Einsprache wegen Verspätung nicht eingetreten. Mit dem angefochtenen Entscheid wurde diese Nichteintretensverfügung geschützt. Streitgegenstand und zu prüfen ist somit einzig, ob der Entscheid der Vorinstanz insoweit dem Bundesrecht entspricht, als sie befand, das Steueramt sei zu Recht nicht auf die Einsprache eingetreten. Nicht einzugehen ist im vorliegenden Verfahren auf die materielle Rechtslage.
1.3 Mit Verfügung vom 15. Juni 1999 ist das Kantonale Steueramt auf die Einsprache wegen Verspätung nicht eingetreten. Mit dem angefochtenen Entscheid wurde diese Nichteintretensverfügung geschützt. Streitgegenstand und zu prüfen ist somit einzig, ob der Entscheid der Vorinstanz insoweit dem Bundesrecht entspricht, als sie befand, das Steueramt sei zu Recht nicht auf die Einsprache eingetreten. Nicht einzugehen ist im vorliegenden Verfahren auf die materielle Rechtslage.
2. 2.1 Gemäss Art. 132 Abs. 1 DBG kann der Steuerpflichtige innert 30 Tagen nach Zustellung bei der Veranlagungsbehörde schriftlich Einsprache erheben. Die Frist beginnt nach Art. 133 Abs. 1 DBG mit dem auf die Eröffnung folgenden Tag und gilt insbesondere als eingehalten, wenn die Einsprache am letzten Tag der Frist bei der Veranlagungsbehörde eingegangen oder der schweizerischen Post übergeben worden ist. Bei der Einsprachefrist handelt es sich um eine gesetzliche, nicht erstreckbare Frist, die bei Versäumnis zur Verwirkung des Einspracherechts führt. Auf verspätete Einsprachen wird nur bei Vorliegen bestimmter, im Gesetz vorgesehener Fristwiederherstellungsgründe eingetreten (Art. 133 Abs. 3 DBG). Ansonsten tritt die Verwirkungsfolge ein (ASA 58, 285 E. 3a).
2.2 Nach Art. 116 Abs. 1 DBG werden Verfügungen und Entscheide dem Steuerpflichtigen schriftlich eröffnet. Dies gilt auch für Veranlagungsverfügungen gemäss Art. 131 DBG. Das Gesetz schreibt die Form der Zustellung nicht vor, weshalb die Behörde selbst bestimmen kann, welche Form sie wählen will (Martin Zweifel, in Zweifel/Athanas [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, Bd. I/2b, Basel/Genf/München 2000, N 18 zu Art. 116 DBG). Die Beweislast für die rechtzeitige Zustellung trägt - der allgemeinen Regel von Art. 8 ZGB entsprechend - die Steuerbehörde.
2.3 Unbestritten ist, dass das Kantonale Steueramt dem Beschwerdeführer gleichzeitig mit eingeschriebener und uneingeschriebener Post vom 23. März 1999 zusammen mit der Veranlagung der Staats- und Gemeindesteuer für die Periode 1997 den Hinweis zustellte, er werde für die Bundessteuer der Periode 1997/98 nach pflichtgemässem Ermessen (gemäss Art. 130 Abs. 2 DBG) eingeschätzt. Ergänzt war der Hinweis durch die Mitteilung, die Veranlagung werde erst mit Zustellung der Steuerrechnung eröffnet und es könne erst dagegen Einsprache erhoben werden.
Die eigentliche Veranlagungsverfügung für die direkte Bundessteuer der Periode 1997/98 erging in der Form der definitiven Steuerrechnung und datiert vom 1. April 1999. Gemäss der Feststellung der Vorinstanz versandte das kommunale Steueramt diese Rechnung mit eingeschriebener und erneut gleichzeitig uneingeschriebener Post zusammen mit einer Reihe weiterer Rechnungen am 12. April 1999. Die eingeschriebene Sendung sei dem Beschwerdeführer gemäss postalischer Bestätigung am darauf folgenden Tag, dem 13. April 1999, zugestellt worden.
Die Vorinstanz stellte weiter fest, am 16. April 1999 habe eine Unterredung zwischen dem Steuerkommissär und dem Beschwerdeführer stattgefunden, bei der insbesondere die Zahlungsmodalitäten auch bei der direkten Bundessteuer thematisiert worden seien. Insgesamt kommt die Vorinstanz zum Schluss, aufgrund der freien richterlichen Würdigung der erhobenen Beweise stehe fest, dass die Steuerrechnung für die direkten Bundessteuern 1997/98 dem Beschwerdeführer am 13. April 1999 eröffnet worden sei, womit die Einsprachefrist am 14. Mai 1999 abgelaufen und die am 18. Mai 1999 erhobene Einsprache verspätet sei.
2.4 Der Beschwerdeführer wendet dagegen ein, die eingeschriebene Sendung habe er zwar erhalten, diese habe jedoch die Veranlagung bei der direkten Bundessteuer für die Periode 1997/98 nicht enthalten; erst mit dem Eingang der uneingeschriebenen Sendung am 19. April 1999 habe er Kenntnis von der fraglichen Veranlagungsverfügung bekommen. Der angefochtene Entscheid beruhe im Ergebnis auf einer einseitigen Würdigung der Beweise und sei nicht widerspruchsfrei. Die entsprechende Sachverhaltsfeststellung sei unrichtig und unvollständig und beruhe auf einer Ermessensüberschreitung. Wenn die Steuerbehörde verschiedene Rechnungen und Verfügungen zusammen in einer Sendung verschicke, trage sie auch die Beweislast dafür, dass die Sendung wirklich alle diese Schriftstücke enthalten habe. Da dafür kein klarer Beweis erbracht worden sei, dürfe nicht davon ausgegangen werden, die fragliche Veranlagungsverfügung sei dem Beschwerdeführer bereits am 13. April 1999 eröffnet worden.
2.4 Der Beschwerdeführer wendet dagegen ein, die eingeschriebene Sendung habe er zwar erhalten, diese habe jedoch die Veranlagung bei der direkten Bundessteuer für die Periode 1997/98 nicht enthalten; erst mit dem Eingang der uneingeschriebenen Sendung am 19. April 1999 habe er Kenntnis von der fraglichen Veranlagungsverfügung bekommen. Der angefochtene Entscheid beruhe im Ergebnis auf einer einseitigen Würdigung der Beweise und sei nicht widerspruchsfrei. Die entsprechende Sachverhaltsfeststellung sei unrichtig und unvollständig und beruhe auf einer Ermessensüberschreitung. Wenn die Steuerbehörde verschiedene Rechnungen und Verfügungen zusammen in einer Sendung verschicke, trage sie auch die Beweislast dafür, dass die Sendung wirklich alle diese Schriftstücke enthalten habe. Da dafür kein klarer Beweis erbracht worden sei, dürfe nicht davon ausgegangen werden, die fragliche Veranlagungsverfügung sei dem Beschwerdeführer bereits am 13. April 1999 eröffnet worden.
3. 3.1 Zunächst ist festzuhalten, dass der angefochtene Entscheid die strittige Frage des Zeitpunkts der Zustellung der Veranlagung der direkten Bundessteuer für die Periode 1997/98 eingehend und umfassend behandelt. Die Entscheidbegründung befasst sich auf mehr als zehn Seiten mit der sachverhaltlichen Abklärung der tatsächlichen Umstände. Die Vorinstanz hat sich dafür überdies nicht nur auf die in den Akten liegenden Dokumente abgestützt, sondern darüber hinaus selber ergänzende Beweise abgenommen, insbesondere den Steuerpflichtigen und den zuständigen Steuerkommissär am 25. März 2003 persönlich befragt. Insgesamt ergibt sich aufgrund der Akten, dass die Vorinstanz die umstrittene Sachverhaltsabklärung mit grosser Sorgfalt vorgenommen hat.
3.2 Die Steuerbehörden unterliegen besonderen Amts- und Dienstpflichten. Sie müssen die für eine vollständige und richtige Besteuerung massgebenden tatsächlichen und rechtlichen Verhältnisse feststellen (Art. 123 Abs. 1 DBG) und sind insofern namentlich zur Wahrheit verpflichtet (vgl. Martin Zweifel, in Zweifel/Athanas [Hrsg.], Kommentar zum Schweizerischen Steuerrecht, Bd. I/2b, Basel/ Genf/München 2000, N 30 zu Art. 115 DBG). Auch nehmen sie in den steuerrechtlichen Verfahren - im Unterschied zu den Steuerpflichtigen - öffentliche und keine persönlichen Interessen wahr. Gestützt auf diese Zusammenhänge durfte die Vorinstanz dem befragten Steuerkommissär eine hohe Glaubwürdigkeit zurechnen, obwohl diesem gewisse geringfügige Fehler unterlaufen sind. Dass die Vorinstanz sowohl die falsche Datierung des Begleitschreibens zum Versand vom 12. April 1999 als auch die grammatikalisch unvollkommene Beilagenbezeichnung "2 Rechnung Direkte Bundessteuer" als nicht weiter wesentliche Schreibfehler erachtete, ist daher nicht zu beanstanden. Dass der Steuerkommissär allenfalls ein persönliches Interesse hatte, darauf hinzuwirken, dass nicht von einem Fehler bei der Zustellung ausgegangen würde, wie der Beschwerdeführer geltend macht, ist zwar theoretisch möglich, wird aber durch keine Hinweise erhärtet. Vielmehr überwiegt der Eindruck, der Steuerkommissär habe sich um Wahrheit bemüht, widersprechen doch seine Aussagen den Akten nicht und erscheinen sie durchaus schlüssig.
3.3 Der Beschwerdeführer wirft der Vorinstanz vor, sie hätte nicht lediglich ihn selber und den Steuerkommissär befragen dürfen, sondern auch seinen damaligen Vertreter sowie den damaligen Finanzvorstand der Gemeinde anhören müssen. Er tut jedoch nicht dar und es geht auch nicht aus den Akten hervor, dass er vor der Vorinstanz einen entsprechenden Antrag gestellt hat, was ihm ohne weiteres möglich und zumutbar gewesen wäre. Überdies hätte es ihm frei gestanden, seinen früheren Vertreter an die Befragung mitzunehmen. Dass der Finanzvorstand der Gemeinde sich einschlägig zur Eröffnung der fraglichen Veranlagungsverfügung hätte äussern können, ist zudem nicht ersichtlich.
3.4 Ebenfalls nicht ersichtlich ist, dass die Vorinstanz die Dateien der Gemeindeverwaltung in massgeblicher Weise falsch gewürdigt hat. Ob das Dokument "X._ Einladung.doc" am 12. April 1999 "erstellt" oder "geändert" wurde, ist nicht von Belang. Genauso wenig erweist sich die Feststellung der Vorinstanz über den Inhalt der Datei "X._ Besprechung1.doc" als qualifiziert mangelhaft, weil ein anderer Inhalt ebenfalls denkbar - aber nicht belegt - ist. Ohnehin erweist sich die Einschätzung der Vorinstanz insofern als wahrscheinlicher als diejenige des Beschwerdeführers.
3.5 Insgesamt hält die Würdigung der von der Vorinstanz abgenommenen Beweise im angefochtenen Entscheid und die damit verbundene Sachverhaltsfeststellung einer Überprüfung unter dem beschränkten Gesichtswinkel von Art. 105 Abs. 2 OG stand. Damit ist davon auszugehen, dass die fragliche Veranlagungsverfügung dem Beschwerdeführer am 13. April 1999 eröffnet worden ist. Die von der Veranlagungsbehörde verwendete Form - Versand der vom Kantonalen Steueramt getroffenen Verfügung durch das kommunale Steueramt - war allenfalls aussergewöhnlich, beruhte aber auf den besonderen Umständen des Einzelfalles und ist jedenfalls rechtsgültig. Einen Fristwiederherstellungsgrund macht der Beschwerdeführer nicht geltend. Seine Einsprache am 18. Mai 1999 erfolgte daher verspätet, womit die Vorinstanz den Nichteintretensentscheid des Kantonalen Steueramtes zu Recht schützte.
3.6 Ergänzend kann noch Folgendes festgehalten werden: Es ist unbestritten und erstellt, dass am 16. April 1999 eine Besprechung zwischen dem Pflichtigen, dem Steuersekretär und einem Vertreter des Gemeinderates stattgefunden hat. Das entsprechende Einladungsschreiben - eben fälschlicherweise mit 15. April 1999 datiert, aber offenbar rechtzeitig beim Beschwerdeführer eingegangen, damit dieser an der Besprechung vom 16. April 1999 teilnehmen konnte - listet im Hauptteil die aussergewöhnlich hohe Steuerforderung für 1997/98 im Betrag von Fr. 989'000.-- auf und führt im Beilagenverzeichnis den bereits erwähnten Vermerk "2 Rechnung Direkte Bundessteuer". Sollte sich die Veranlagung tatsächlich nicht in der Sendung befunden haben, wie der Beschwerdeführer behauptet, wäre er nach Treu und Glauben verpflichtet gewesen, dies spätestens bei der Besprechung vom 16. April 1999 geltend zu machen. Er konnte nicht damals über die Berechtigung der gegenüber ihm bestehenden Steuerforderungen und deren Zahlungsmodalitäten verhandeln und nachher behaupten, die entsprechenden Veranlagungen (oder jedenfalls Teile davon) gar nie erhalten zu haben. Wie die Eidgenössische Steuerverwaltung zu Recht vorträgt, müsste demnach so oder so davon ausgegangen werden, die fragliche Veranlagung sei dem Beschwerdeführer spätestens am 16. April 1999 eröffnet worden, womit die Frist am 17. Mai 1999 (einem Montag) abgelaufen und die Einsprache vom 18. Mai 1999 auch aus diesem Grund als verspätet erhoben gelten müsste.
3.6 Ergänzend kann noch Folgendes festgehalten werden: Es ist unbestritten und erstellt, dass am 16. April 1999 eine Besprechung zwischen dem Pflichtigen, dem Steuersekretär und einem Vertreter des Gemeinderates stattgefunden hat. Das entsprechende Einladungsschreiben - eben fälschlicherweise mit 15. April 1999 datiert, aber offenbar rechtzeitig beim Beschwerdeführer eingegangen, damit dieser an der Besprechung vom 16. April 1999 teilnehmen konnte - listet im Hauptteil die aussergewöhnlich hohe Steuerforderung für 1997/98 im Betrag von Fr. 989'000.-- auf und führt im Beilagenverzeichnis den bereits erwähnten Vermerk "2 Rechnung Direkte Bundessteuer". Sollte sich die Veranlagung tatsächlich nicht in der Sendung befunden haben, wie der Beschwerdeführer behauptet, wäre er nach Treu und Glauben verpflichtet gewesen, dies spätestens bei der Besprechung vom 16. April 1999 geltend zu machen. Er konnte nicht damals über die Berechtigung der gegenüber ihm bestehenden Steuerforderungen und deren Zahlungsmodalitäten verhandeln und nachher behaupten, die entsprechenden Veranlagungen (oder jedenfalls Teile davon) gar nie erhalten zu haben. Wie die Eidgenössische Steuerverwaltung zu Recht vorträgt, müsste demnach so oder so davon ausgegangen werden, die fragliche Veranlagung sei dem Beschwerdeführer spätestens am 16. April 1999 eröffnet worden, womit die Frist am 17. Mai 1999 (einem Montag) abgelaufen und die Einsprache vom 18. Mai 1999 auch aus diesem Grund als verspätet erhoben gelten müsste.
4. Die Verwaltungsgerichtsbeschwerde erweist sich als unbegründet und ist abzuweisen. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1, Art. 153 und 153a OG).
Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 10'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 10'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Steueramt Zürich und der Bundessteuer-Rekurskommission des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 26. Mai 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: