Sachverhalt:
A. Der früher unselbständig erwerbstätige X._ nahm per 1. Mai 1999 eine selbständige Erwerbstätigkeit auf, indem er die Einzelfirma "Z._" gründete. Im ersten Abschluss per Ende 2000 wies er nach Vornahme einer Sofortabschreibung von Fr. 161'246.40 einen Gewinn von Fr. 42'731.55 aus.
Für den Rest der Steuerperiode 1999/2000 deklarierte X._ ein steuerbares Einkommen aus selbständiger Erwerbstätigkeit von Fr. 25'310.--. Nachdem die Bezirkssteuerkommission die Sofortabschreibung in der Steuerperiode 2001/2002 für volle zwei Jahre berücksichtigt hatte, rechnete sie diese für den Rest der Steuerperiode 1999/2000 im Betrag von Fr. 96'748.-- auf (Fr. 161'246.40 : 20 Monate x 12) und veranlagte X._ für ein Einkommen von Fr. 121'910.--. Eine dagegen erhobene Einsprache wurde von der kantonalen Steuerverwaltung am 24. Oktober 2003 abgewiesen.
B. Die Steuerrekurskommission des Kantons Wallis wies eine Beschwerde gegen den Einspracheentscheid am 23. Februar 2005 ab.
C. X._ hat gegen den (am 10. November 2006 zugestellten) Entscheid der Steuerrekurskommission am 13. Dezember 2006, soweit die direkte Bundessteuer 1999/2000 betreffend, Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Der Beschwerdeführer beantragt, der angefochtene Entscheid sei aufzuheben und das Einkommen aus selbständiger Erwerbstätigkeit mit Fr. 25'162.-- zu veranlagen.
Die Steuerverwaltung des Kantons Wallis sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen. Die Steuerrekurskommission des Kantons Wallis hat auf eine Stellungnahme verzichtet.

Das Bundesgericht zieht in Erwägung:
1. Der angefochtene Entscheid der Steuerrekurskommission erging am 23. Februar 2005. Auf das vorliegende Verfahren findet somit noch das bis Ende 2006 geltende Bundesgesetz vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege (OG) Anwendung (vgl. Art. 132 Abs. 1 des am 1. Januar 2007 in Kraft getretenen Bundesgesetzes vom 17. Juni 2005 über das Bundesgericht [BGG; SR 173.110]).
2. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, welches Rechtsmittel zulässig und in welchem Umfang darauf einzutreten ist (<ref-ruling> E. 1 S. 156; <ref-ruling> E. 1 S. 573, je mit Hinweis).
2.1 Der angefochtene Entscheid ist mit Bezug auf die direkte Bundessteuer 1999/2000 ein auf Steuerrecht des Bundes gestütztes, letztinstanzliches kantonales Urteil, das mit Verwaltungsgerichtsbeschwerde beim Bundesgericht angefochten werden kann (Art. 97 Abs. 1 OG in Verbindung mit <ref-law> und Art. 98 lit. g OG sowie Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer, DBG; SR 642.11). Der Grundsatz der Parallelität der Verfahren findet erst auf Steuern für das Steuerjahr ab 1. Januar 2001 Anwendung (vgl. <ref-ruling>). Als betroffene steuerpflichtige Person ist der Beschwerdeführer zur Anfechtung des vorinstanzlichen Entscheids legitimiert (Art. 103 lit. a OG). Auf seine form- und fristgerecht eingereichte Beschwerde ist einzutreten.
2.2 Mit der Verwaltungsgerichtsbeschwerde kann der Beschwerdeführer die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts rügen (Art. 104 lit. a und b OG). Hat als Vorinstanz - wie hier - eine richterliche Behörde entschieden, ist das Bundesgericht an deren Sachverhaltsfeststellung gebunden, wenn der Sachverhalt nicht offensichtlich unrichtig oder unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften ermittelt wurde (Art. 105 Abs. 2 OG).
Das Bundesgericht wendet im verwaltungsgerichtlichen Beschwerdeverfahren das Bundesrecht von Amtes wegen an. Es ist gemäss Art. 114 Abs. 1 OG nicht an die Begründung der Parteibegehren gebunden und kann deshalb die Beschwerde auch aus anderen als den geltend gemachten Gründen gutheissen oder abweisen (<ref-ruling> E. 1.3 S. 50, mit Hinweisen).
3. 3.1 Das steuerbare Einkommen natürlicher Personen bemisst sich nach dem durchschnittlichen Einkommen der beiden letzten der Steuerperiode vorangegangenen Kalenderjahre (<ref-law>). Diese Regel wird durchbrochen, wenn - wie hier - die Voraussetzungen für eine Zwischenveranlagung aufgrund des Wechsels von unselbständiger zu selbständiger Erwerbstätigkeit gegeben sind (<ref-law>). Der Zwischenveranlagung wird die bisherige ordentliche Veranlagung, vermehrt oder vermindert um die veränderten Einkommensteile, zu Grunde gelegt (<ref-law>). Die zufolge Zwischenveranlagung neu hinzugekommenen Teile des Einkommens werden nach den Vorschriften bemessen, die bei Beginn der Steuerpflicht gelten (<ref-law>). Gemäss <ref-law> wird bei Beginn der Steuerpflicht das steuerbare Einkommen wie folgt bemessen: für die laufende Steuerperiode nach dem seit Beginn der Steuerpflicht bis zum Ende der Steuerperiode erzielten, auf zwölf Monate berechneten Einkommen (Abs. 1 lit. a); für die folgende Steuerperiode nach dem seit Beginn der Steuerpflicht während mindestens eines Jahres erzielten, auf zwölf Monate berechneten Einkommen (Abs. 1 lit. b). Ausserordentliche Einkünfte und Aufwendungen werden nur für die auf den Eintritt in die Steuerpflicht folgende Steuerperiode berücksichtigt (<ref-law>).
3.2 Die fragliche Sofortabschreibung bildet offensichtlich eine ausserordentliche Aufwendung im Sinn von <ref-law>, weil es sich um einen aperiodischen Vorgang handelt (Peter Locher, Kommentar zum DBG, Therwil/Basel 2001, Rz. 24 zu Art. 44; Felix Richner/Walter Frei/Stefan Kaufmann, Handkommentar zum DBG, Zürich 2003, Rz. 27 zu Art. 44). Die Veranlagungsbehörde hat diese Abschreibung in der Steuerperiode 2001/2002 richtigerweise berücksichtigt, wodurch sie sich für volle zwei Jahre ausgewirkt hat; damit ist der Sofortabschreibung hinreichend Rechnung getragen worden. Es wäre sach- und gesetzwidrig, sie für den Rest der - zwischenveranlagten - Steuerperiode 1999/ 2000 nochmals zu berücksichtigen. Die Umschreibung der "ausserordentlichen Aufwendungen" in <ref-law>, auf den sich der Beschwerdeführer bezieht, gilt im Übrigen nur für den speziellen Fall des Systemwechsels bei der zeitlichen Bemessung und ist hier nicht massgebend (vgl. Locher, a.a.O., Rz. 14 zu <ref-law>; Richner/Frei/Kaufmann, a.a.O., Rz. 16 zu <ref-law>). Die Verwaltungsgerichtsbeschwerde erweist sich als unbegründet und ist daher abzuweisen.
4. Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG in Verbindung mit Art. 153 und Art. 153a OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde betreffend die direkte Bundessteuer 1999/2000 wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 2'500.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Steuerverwaltung des Kantons Wallis, der Steuerrekurskommission des Kantons Wallis sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 1. Mai 2007
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: