Sachverhalt: Sachverhalt: A. A. und B. X._ wurden im Juni 1999 mit vier Verfügungen für die Jahre 1991/92, 1993/94, 1995/96 und 1997/98 betreffend der Landes-, Gemeinde- und Kirchensteuer veranlagt. Am 10. Juli 1999 erhoben sie "Einsprache gegen die Steuerveranlagungen 1991-1998". Am 24. Mai 2000 wurden die Veranlagungen letztinstanzlich vom Verwaltungsgericht von Appenzell Ausserrhoden geschützt. Mit Veranlagungsverfügungen und Schlussrechnungen vom jeweils 21. Juli 1999 wurden A. und B. X._ für die direkten Bundessteuern 1991/92, 1993/94 und 1997/98 veranlagt. Am 11. August 1999 reichten sie bei der Steuerverwaltung des Kantons Appenzell A.Rh. eine Eingabe ein, die sie als "Einsprache gegen die Steuerveranlagungen der Jahre 1991-98 der direkten Bundessteuern" bezeichneten und womit sie beantragten, es seien alle Berechnungen so zu korrigieren, dass der Wochenaufenthalts-Status richtig berücksichtigt werde; weiter seien alle Positionen gleich wie bei der Einsprache vom 10. Juli 1999 gegen die kantonalen Veranlagungen anzupassen. Ziff. 7 der Einsprachebegründung ist wörtlich identisch mit Ziff. 7 der Einsprache gegen die kantonalen Veranlagungen und bezieht sich auf die Hauptveranlagung 1995/96. Nach den Akten der kantonalen Steuerverwaltung stammt die A. und B. X._ betreffende Veranlagungsverfügung und Schlussrechnung für die direkte Bundessteuer der Jahre 1995/96 vom 2. November 2000 und wurde auch erst dann zugestellt. Dazu ging nach diesem Datum bei der Steuerverwaltung keine Einsprache ein. Mit Entscheid vom 18. Dezember 2002 trat die kantonale Steuerverwaltung auf die von A. und B. X._ am 11. August 1999 erhobene Einsprache gegen die Bundessteuerveranlagungen nicht ein, soweit sich diese gegen die Veranlagung für die Jahre 1995 und 1996 richtete. Nach den Akten der kantonalen Steuerverwaltung stammt die A. und B. X._ betreffende Veranlagungsverfügung und Schlussrechnung für die direkte Bundessteuer der Jahre 1995/96 vom 2. November 2000 und wurde auch erst dann zugestellt. Dazu ging nach diesem Datum bei der Steuerverwaltung keine Einsprache ein. Mit Entscheid vom 18. Dezember 2002 trat die kantonale Steuerverwaltung auf die von A. und B. X._ am 11. August 1999 erhobene Einsprache gegen die Bundessteuerveranlagungen nicht ein, soweit sich diese gegen die Veranlagung für die Jahre 1995 und 1996 richtete. B. Gegen diesen Nichteintretensentscheid führten A. und B. X._ Beschwerde beim Verwaltungsgericht von Appenzell Ausserrhoden, welches die Beschwerde am 2. Juli 2003 abwies. B. Gegen diesen Nichteintretensentscheid führten A. und B. X._ Beschwerde beim Verwaltungsgericht von Appenzell Ausserrhoden, welches die Beschwerde am 2. Juli 2003 abwies. C. Mit Verwaltungsgerichtsbeschwerde vom 23. Februar 2004 an das Bundesgericht beantragen A. und B. X._, das Urteil des Verwaltungsgerichts vom 2. Juli 2003 sowie der Einspracheentscheid der Steuerverwaltung des Kantons Appenzell-Ausserrhoden vom 18. Dezember 2002 seien aufzuheben und es sei die Steuerverwaltung anzuweisen, auf die Einsprache vom 11. August 1999 betreffend Steuerveranlagung 1995/96 zur direkten Bundessteuer einzutreten. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Appenzell-Ausserrhoden sowie die Eidgenössische Steuerverwaltung, Hauptabteilung Direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben, schliessen auf Abweisung der Beschwerde.