Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Das kantonale Steueramt Zürich, Abteilung Spezialdienste (nachfolgend: Steueramt), erliess am 12. Dezember 2003 (Versand: 15. Dezember 2003) eine «Verfügung betreffend Vorentscheid über die Steuerhoheit Direkte Bundessteuer ab 29. März 2000» von X._.
1.2 Dagegen erhob X._ am 19. Januar 2004 Beschwerde, welche die Bundessteuer-Rekurskommission des Kantons Zürich (nachfolgend: Rekurskommission) als Sprungbeschwerde entgegen nahm. Sie setzte ihm am 4. März 2004 Frist an bis zum 18. März 2004, um Stellung zu nehmen zum Ergebnis ihrer Beweiserhebung, wonach seine Vertreterin die Verfügung des Steueramtes am 16. Dezember 2003 in Empfang genommen hatte. Die Rekurskommission wies darauf hin, dass bei Säumnis Verzicht auf eine Stellungnahme angenommen werde. Die Verfügung wurde der Vertreterin von X._ am 9. März 2004 zugestellt. Diese liess sich innert Frist nicht vernehmen, worauf die Rekurskommission am 29. März 2004 auf die Beschwerde nicht eintrat: Die 30-tägige Frist für die (Sprung-) Beschwerde habe am 17. Dezember 2003 zu laufen begonnen und am 15. Januar 2004 geendet. Die Eingabe vom 19. Januar 2004 sei somit verspätet erfolgt.
1.3 Am 3. Mai 2004 erhebt X._ dagegen Verwaltungsgerichtsbeschwerde beim Bundesgericht und beantragt, den Nichteintretensentscheid der Bundessteuer-Rekurskommission aufzuheben und die materielle Beurteilung der steuerrechtlichen Wohnsitzfrage durch die «zuständige Instanz» entscheiden zu lassen. Er macht geltend, die eingeschriebene Verfügung sei nicht von seiner Vertreterin entgegengenommen, sondern von der Post einer nicht bevollmächtigten Person ausgehändigt worden. Aus einer solchen Zustellung könnten ihm keine Rechtsnachteile erwachsen. Zudem habe er sich innerhalb der von der Rekurskommission gesetzten Frist bis zum 18. März 2004 nicht vernehmen lassen, weil «wegen schwerer Krankheit» eines Geschäftsführers seiner Vertreterin «und einer Therapie im Ausland die Frist unbenutzt verstrichen ist».
Das Steueramt verzichtet auf eine Vernehmlassung. Die Rekurskommission und die Eidgenössische Steuerverwaltung beantragen, die Verwaltungsgerichtsbeschwerde kostenfällig abzuweisen.
2. 2.1 Gegen letztinstanzliche kantonale Entscheide betreffend die direkte Bundessteuer ist die Verwaltungsgerichtsbeschwerde zulässig (Art. 97 Abs. 1 in Verbindung mit Art. 5 des Bundesgesetzes vom 20. Dezember 1968 über das Verwaltungsverfahren [VwVG; SR 172.021] sowie Art. 98 lit. g OG und Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]).
2.2 Strittig ist die Veranlagung in der Zeit vor dem 1. Januar 2001, so dass die Verpflichtung der Kantone, für Beschwerden betreffend die direkte Bundessteuer und die harmonisierten kantonalen Steuern einen einheitlichen Instanzenzug zu schaffen, vorliegend noch nicht greift und der Entscheid der Bundessteuer-Rekurskommission einen kantonal letztinstanzlichen Entscheid im Sinn von Art. 98 lit. g OG darstellt (vgl. BGE 130 II 65).
Als betroffener Steuerpflichtiger ist der Beschwerdeführer gemäss Art. 103 lit. a OG zur Anfechtung des vorinstanzlichen Entscheids befugt. Auf die form- und fristgerecht eingereichte Beschwerde ist einzutreten (vgl. Art. 106 und 108 OG).
2.3 Mit der Verwaltungsgerichtsbeschwerde können die Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens (Art. 104 lit. a OG) sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts (Art. 104 lit. b OG) gerügt werden.
Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden, so ist das Bundesgericht an deren Sachverhaltsfeststellungen gebunden, es sei denn der Sachverhalt sei offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen erhoben worden (Art. 105 Abs. 2 OG). Eine offensichtliche Unrichtigkeit im Sinn von Art. 105 Abs. 2 OG ist nicht schon dann gegeben, wenn sich Zweifel an der Richtigkeit des ermittelten Sachverhaltes ergeben (BGE 100 V 202 E. 1 S. 203; ASA 55 563, E. 4b). Davon kann nur gesprochen werden, wenn die Mangelhaftigkeit der Tatsachenfeststellung ins Auge springt (ASA 54 457 E. 3b; 44 207 E. 1; 44 487 E. 1). Dies ist namentlich der Fall, wenn die Vorinstanz entscheidwesentliche Tatsachen, für die Beweismittel angeboten worden sind oder von Amtes wegen hätte Beweis aufgenommen werden müssen, nicht oder bloss mangelhaft abgeklärt hat (BGE 107 Ib E. 2a S. 239 f.; Urteil A.54/1986 vom 1. Oktober 1986, in BGE 112 Ib 270 nicht publizierte E. 2; vgl. BGE 124 II 409 E. 3a S. 421; 121 II 97 E. 1c S. 99).
Das Bundesgericht wendet im verwaltungsgerichtlichen Beschwerdeverfahren das Bundesrecht von Amtes wegen an; es ist gemäss Art. 114 Abs. 1 OG an die von den Parteien vorgebrachten Begründungen nicht gebunden und kann die Beschwerde auch aus anderen als den geltend gemachten Gründen gutheissen oder abweisen (BGE 129 II 183 E. 3.4 S. 188, mit Hinweis).
Das Bundesgericht wendet im verwaltungsgerichtlichen Beschwerdeverfahren das Bundesrecht von Amtes wegen an; es ist gemäss Art. 114 Abs. 1 OG an die von den Parteien vorgebrachten Begründungen nicht gebunden und kann die Beschwerde auch aus anderen als den geltend gemachten Gründen gutheissen oder abweisen (BGE 129 II 183 E. 3.4 S. 188, mit Hinweis).
3. 3.1 Der Beschwerdeführer bestreitet im Wesentlichen den von der Rekurskommission zugrunde gelegten Sachverhalt. Namentlich soll die Person, die am 16. Dezember 2003 die eingeschriebene Verfügung des Steueramtes bei der Post in Brig abgeholt hat, von der Vertreterin des Beschwerdeführers nicht schriftlich bevollmächtigt gewesen sein.
3.2 Gestützt auf den sich bei den Akten befindlichen Postrückschein nahm die Rekurskommission an, dass die fragliche Verfügung vom 12. Dezember 2003 von der Vertreterin des Beschwerdeführers am 16. Dezember 2003 in Empfang genommen worden war. Um allfällige Zweifel über die korrekte Zustellung zu beseitigen, gab die Rekurskommission dem Beschwerdeführer Gelegenheit, sich dazu bis am 18. März 2004 zu äussern. Da er sich - trotz Hinweis auf die Säumnisfolgen - nicht fristgerecht vernehmen liess, durfte die Rekurskommission davon ausgehen, dass ihre Sachverhaltsannahme richtig sei. Dieser im vorliegenden Zusammenhang ausreichend abgeklärte Sachverhalt ist nach Art. 105 Abs. 2 OG auch für das Bundesgericht grundsätzlich verbindlich.
3.3 Der Beschwerdeführer macht allerdings geltend, er habe die Frist vom 18. März 2004 unbenutzt verstreichen lassen, weil ein Geschäftsführer seiner Vertreterin wegen schwerer Krankheit und Therapie im Ausland verhindert gewesen sei.
Ein entschuldbarer erheblicher Verhinderungsgrund (vgl. Art. 35 Abs. 1 OG, Art. 24 Abs. 1 VwVG; BGE 125 V 262 E. 5d S. 265, mit Hinweisen) ist aber nicht rechtsgenüglich nachgewiesen: Der in Zürich wohnhafte - angeblich erkrankte und im Ausland behandelte - Geschäftsführer hat die Verfügung der Rekurskommission vom 4. März 2004 am 9. März 2004 entgegengenommen, so dass bis zum Ablauf der Vernehmlassungsfrist volle neun Tage blieben.
Von einem Unternehmen, das sich auf Steuerberatung und -vertretung spezialisiert und von einem diplomierten Steuerexperten und Lehrer an einer schweizerischen Steuerakademie (mit)geleitet wird, darf erwartet werden, dass es einen Organisationsgrad aufweist, der eine gehörige Stellvertretung sowie den notwendigen Informationsfluss zwischen den beiden Geschäftsführern gewährleistet, so dass eine behördlich angesetzte Frist in einem laufenden Verfahren gewahrt werden kann.
Weder behauptet der Beschwerdeführer noch weist er nach, dass dieser Geschäftsführer, der offenbar für seine Behandlungen (Chemotherapie wegen eines Krebsleidens) mehrfach nach München und Frankfurt reisen musste, so überraschend erkrankte, dass es ihm innerhalb der verbleibenden Zeit bis zum Fristablauf nicht möglich war, ein Fristverlängerungsgesuch bei der Rekurskommission einzureichen, oder den zweiten Geschäftsführer entsprechend zu instruieren.
Er hat zudem in seinem Schreiben vom 5. April 2004 an die Rekurskommission kein Fristwiederherstellungsgesuch gestellt (vgl. § 12 des zürcherischen Gesetzes vom 24. Mai 1959 über den Rechtsschutz in Verwaltungssachen [Verwaltungsrechtspflegegesetz]) und diesem Schreiben auch keinerlei Unterlagen betreffend die Behandlungen der schweren Krankheit und die Auslandaufenthalte beigelegt, weshalb für die Rekurskommission kein Anlass bestand, auf den bereits gefällten Beschluss zurückzukommen.
Er hat zudem in seinem Schreiben vom 5. April 2004 an die Rekurskommission kein Fristwiederherstellungsgesuch gestellt (vgl. § 12 des zürcherischen Gesetzes vom 24. Mai 1959 über den Rechtsschutz in Verwaltungssachen [Verwaltungsrechtspflegegesetz]) und diesem Schreiben auch keinerlei Unterlagen betreffend die Behandlungen der schweren Krankheit und die Auslandaufenthalte beigelegt, weshalb für die Rekurskommission kein Anlass bestand, auf den bereits gefällten Beschluss zurückzukommen.
4. 4.1 Die Rekurskommission hat somit zu Recht auf den von ihr angenommenen Sachverhalt abgestellt und ist auf die (Sprung-) Beschwerde nicht eingetreten. Die Verwaltungsgerichtsbeschwerde ist deshalb unbegründet und abzuweisen.
4.2 Bei diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und 153a OG ).
Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
im Verfahren nach Art. 36a OG:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Steueramt Zürich und der Bundessteuer-Rekurskommission des Kantons Zürich sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. November 2004
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: