Sachverhalt: A. Die Geschwister A.X._ und D.Y._ erhielten im Jahre 1996 von ihrer Mutter (teils ererbt, teils durch Vorempfang) je hälftig einen Anteil von 3/5 der unüberbauten Parzelle Nr. qqq, Plan Nr. rrr, in S._ im Halte von 1760 m2. Mit Vertrag vom 2. März 2004 erwarben sie noch die restlichen 2/5 dieser Parzelle für Fr. 1'550'000.--. Davon trennten sie einen Teil von 300 m2 ab, der als neue Parzelle Nr. ttt im Miteigentum von A.X._ und D.Y._ verblieb. In der Folge parzellierten sie das Grundstück Nr. qqq, begründeten Stockwerkeigentum, realisierten das Appartementhaus "U._" und verkauften im Jahre 2004 sechs Stockwerkeinheiten oder 341/1000 für Fr. 4'210'952.--. B. Statt der von den steuerpflichtigen Personen deklarierten Grundstückgewinnsteuer ging die kantonale Steuerverwaltung Wallis von gewerbsmässigem Liegenschaftshandel aus, behandelte das Appartementhaus "U._" als Geschäftsvermögen und unterstellte die erzielten Gewinne wie folgt der Einkommenssteuer: Totale Baukosten Totale Baukosten Fr. 5'673'008.75 Zukauf Bauland (2/5) Zukauf Bauland (2/5) Fr. 1'550'000.-- Bauland Erbschaft (3/5) Bauland Erbschaft (3/5) Fr. 2'325'000.-- ./. abparzelliert (300 m2) ./. abparzelliert (300 m2) Fr. 660'508.75 Total Baukosten Total Baukosten Fr. 8'887'500.-- Totale Verkäufe (341/1000) Totale Verkäufe (341/1000) Fr. 4'210'952.-- Anteil Baukosten (341/1000) Anteil Baukosten (341/1000) Fr. 3'030'652.-- Total Gewinn Total Gewinn Fr. 1'180'300.-- Gewinn pro Teilhaber Gewinn pro Teilhaber Fr. 590'150.-- ./. pers. AHV-Beiträge ./. pers. AHV-Beiträge Fr. 57'150.-- Nettogewinn pro Teilhaber Nettogewinn pro Teilhaber Fr. 533'000.-- Entsprechend wurden A. und B.X._ sowie C. und D.Y._ für die Steuerperiode 2004 von der Steuerverwaltung des Kantons Wallis am 28. Oktober 2008 auf ein zusätzliches Erwerbseinkommen von je Fr. 533'000.-- sowohl für die Kantons- und Gemeindesteuer als auch für die direkte Bundessteuer veranlagt. Die Einsprachen dagegen waren erfolglos. Die Steuerrekurskommission des Kantons Wallis wies anschliessend die Beschwerden ab. C. Vor Bundesgericht beantragen A. und B.X._ sowie C. und D.Y._, das Urteil der Steuerrekurskommission des Kantons Wallis vom 15. September 2010 aufzuheben, eventuell die Angelegenheit zur Sachverhaltsergänzung an die Vorinstanz zurückzuweisen, festzustellen, dass die Liegenschaft des Hauses "U._" in S._ Privatvermögen der Beschwerdeführer bilde, die 2004 erfolgten Verkäufe der Grundstückgewinnsteuer zu unterstellen und (sub)eventualiter den Gewinn aus den Verkäufen von Fr. 533'000.-- auf Fr. 434'000.-- pro Eigentümer herabzusetzen. Sie rügen eine Verletzung des rechtlichen Gehörs sowie von Bundesrecht. D. Die kantonale Steuerverwaltung Wallis, die Steuerrekurskommission des Kantons Wallis sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.