Sachverhalt: Sachverhalt: A. Mit Einspracheentscheid vom 14. Februar 2003 setzte die Steuerverwaltung des Kantons Thurgau im Rahmen eines Nachsteuerverfahrens gegen A. und B. X._ betreffend die direkte Bundessteuer für die Jahre 1995 - 2000 die Nachsteuer auf Fr. 1'292.05 zuzüglich Zins von Fr. 162.95 fest. Die Steuerrekurskommission des Kantons Thurgau hiess mit Entscheid vom 23. Oktober 2003 die dagegen erhobene Beschwerde gut und hob die Nachsteuerverfügung ersatzlos auf. A. Mit Einspracheentscheid vom 14. Februar 2003 setzte die Steuerverwaltung des Kantons Thurgau im Rahmen eines Nachsteuerverfahrens gegen A. und B. X._ betreffend die direkte Bundessteuer für die Jahre 1995 - 2000 die Nachsteuer auf Fr. 1'292.05 zuzüglich Zins von Fr. 162.95 fest. Die Steuerrekurskommission des Kantons Thurgau hiess mit Entscheid vom 23. Oktober 2003 die dagegen erhobene Beschwerde gut und hob die Nachsteuerverfügung ersatzlos auf. B. Dagegen hat die Steuerverwaltung des Kantons Thurgau beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie beantragt, den Entscheid der Steuerrekurskommission aufzuheben und den Einspracheentscheid der Steuerverwaltung vom 14. Februar 2003 zu bestätigen. Die Steuerrekurskommission des Kantons Thurgau schliesst auf Abweisung der Beschwerde. Der Beschwerdegegner beantragt, den Entscheid der Steuerrekurskommission zu bestätigen. Die eidgenössische Steuerverwaltung stellt den Antrag, die Beschwerde gutzuheissen, den Entscheid der Steuerrekurskommission aufzuheben und die Sache zu neuer Entscheidung an die kantonale Steuerverwaltung zurückzuweisen.