Sachverhalt: A.X._ ist Architekt HTL und betätigt sich u.a. im Liegenschaftenhandel. Mit Veranlagungsverfügung vom 11. Dezember 2006 setzte die Verwaltung für die direkte Bundessteuer des Kantons Schwyz die ausserordentlichen Einkünfte aus Liegenschaftenhandel für die separate Jahressteuer 1999 auf Fr. 226'820.-- fest, indem sie von den Liegenschaftsgewinnen des Jahres 1999 (Fr. 317'183.--) den durchschnittlichen Liegenschaftsgewinn der sechs vorhergehenden Jahre (Fr. 90'363.--) in Abzug brachte. A. und B.X._ führten gegen diese Jahressteuerveranlagung ohne Erfolg Einsprache. Mit Beschwerde an das Verwaltungsgericht des Kantons Schwyz vom 1. Oktober 2010 machten sie geltend, dass die Verjährung eingetreten sei. Zudem legten sie dar, dass sie im Jahre 2000 aus dem Liegenschaftenhandel einen Verlust von Fr. 278'879.-- erlitten hätten. Dieser Verlust sei mit dem ausserordentlichen Gewinn des Jahres 1999 zu verrechnen. Sofern Grundstückgewinne in den Jahren der Bemessungslücke als ausserordentlich gelten würden, müssten folgerichtig auch die Grundstückverluste berücksichtigt werden. Mit Entscheid vom 25. November 2010 wies das Verwaltungsgericht die Beschwerde "im Sinne der Erwägungen" ab. Es erwog, dass ein allfälliger Verlust im zweiten Bemessungslückenjahr (n-1) nur vorgetragen, nicht aber auf das erste Bemessungslückenjahr (n-2) "zurückgetragen" werden könne. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen A. und B.X._ dem Bundesgericht, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 25. November 2010 sowie die Verfügung der kantonalen Steuerverwaltung vom 11. Dezember 2006 seien aufzuheben und es sei festzustellen, dass im Jahre 1999 kein ausserordentliches Einkommen zu versteuern sei. Eventualiter sei das steuerbare ausserordentliche Einkommen unter Berücksichtigung des Liegenschaftsverlusts im Jahr 2000 auf Fr. 17'900.-- festzusetzen. Die Kantonale Verwaltung für die direkte Bundessteuer und die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz hat auf eine Vernehmlassung verzichtet.