Sachverhalt:
A. Die Geschwister A.X._ und D.Y._ erhielten im Jahre 1996 von ihrer Mutter (teils ererbt, teils durch Vorempfang) je hälftig einen Anteil von 3/5 der unüberbauten Parzelle Nr. qqq, Plan Nr. rrr, in S._ im Halte von 1760 m2. Mit Vertrag vom 2. März 2004 erwarben sie noch die restlichen 2/5 dieser Parzelle für Fr. 1'550'000.--. Davon trennten sie einen Teil von 300 m2 ab, der als neue Parzelle Nr. ttt im Miteigentum von A.X._ und D.Y._ verblieb. In der Folge parzellierten sie das Grundstück Nr. qqq, begründeten Stockwerkeigentum, realisierten das Appartementhaus "U._" und verkauften im Jahre 2004 sechs Stockwerkeinheiten oder 341/1000 für Fr. 4'210'952.--.
B. Statt der von den steuerpflichtigen Personen deklarierten Grundstückgewinnsteuer ging die kantonale Steuerverwaltung Wallis von gewerbsmässigem Liegenschaftshandel aus, behandelte das Appartementhaus "U._" als Geschäftsvermögen und unterstellte die erzielten Gewinne wie folgt der Einkommenssteuer:
Totale Baukosten
Totale Baukosten
Fr. 5'673'008.75
Zukauf Bauland (2/5)
Zukauf Bauland (2/5)
Fr. 1'550'000.--
Bauland Erbschaft (3/5)
Bauland Erbschaft (3/5)
Fr. 2'325'000.--
./. abparzelliert (300 m2)
./. abparzelliert (300 m2)
Fr. 660'508.75
Total Baukosten
Total Baukosten
Fr. 8'887'500.--
Totale Verkäufe (341/1000)
Totale Verkäufe (341/1000)
Fr. 4'210'952.--
Anteil Baukosten (341/1000)
Anteil Baukosten (341/1000)
Fr. 3'030'652.--
Total Gewinn
Total Gewinn
Fr. 1'180'300.--
Gewinn pro Teilhaber
Gewinn pro Teilhaber
Fr. 590'150.--
./. pers. AHV-Beiträge
./. pers. AHV-Beiträge
Fr. 57'150.--
Nettogewinn pro Teilhaber
Nettogewinn pro Teilhaber
Fr. 533'000.--
Entsprechend wurden A. und B.X._ sowie C. und D.Y._ für die Steuerperiode 2004 von der Steuerverwaltung des Kantons Wallis am 28. Oktober 2008 auf ein zusätzliches Erwerbseinkommen von je Fr. 533'000.-- sowohl für die Kantons- und Gemeindesteuer als auch für die direkte Bundessteuer veranlagt. Die Einsprachen dagegen waren erfolglos. Die Steuerrekurskommission des Kantons Wallis wies anschliessend die Beschwerden ab.
C. Vor Bundesgericht beantragen A. und B.X._ sowie C. und D.Y._, das Urteil der Steuerrekurskommission des Kantons Wallis vom 15. September 2010 aufzuheben, eventuell die Angelegenheit zur Sachverhaltsergänzung an die Vorinstanz zurückzuweisen, festzustellen, dass die Liegenschaft des Hauses "U._" in S._ Privatvermögen der Beschwerdeführer bilde, die 2004 erfolgten Verkäufe der Grundstückgewinnsteuer zu unterstellen und (sub)eventualiter den Gewinn aus den Verkäufen von Fr. 533'000.-- auf Fr. 434'000.-- pro Eigentümer herabzusetzen. Sie rügen eine Verletzung des rechtlichen Gehörs sowie von Bundesrecht.
D. Die kantonale Steuerverwaltung Wallis, die Steuerrekurskommission des Kantons Wallis sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Angefochten ist der Entscheid einer kantonalen Steuerrekurskommission in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt. Aufgrund der geänderten Bestimmungen über die Rechtspflege im Kanton Wallis entscheidet die Steuerrekurskommission auch über Beschwerden in Sachen Kantons- und Gemeindesteuern sowie der direkten Bundessteuer als letzte kantonale Instanz (Art. 150 Abs. 2 des Steuergesetzes vom 10. März 1976 [SGS 642.1, StG/VS] sowie Art. 8 Abs. 3 des Ausführungsgesetzes vom 24. September 1997 zum Bundesgesetz über die direkte Bundessteuer [SGS 658.1], in der Fassung gemäss Gesetz betreffend die Änderung der Rechtspflegeordnung vom 9. November 2006). Die Verfahrensänderungen finden mit Inkraftsetzung des Gesetzes auf den 1. Juni 2007 auf hängige Verfahren sofort Anwendung (IX. Abschnitt Ziffer 7 des Gesetzes vom 9. November 2006; vgl. Urteil 2C_115/2010 vom 18. Juni 2010 E. 1.1 mit Hinweis). Der angefochtene Entscheid unterliegt der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht (Art. 82 lit. a BGG in Verbindung mit Art. 146 DBG [SR 642.11] sowie Art. 73 StHG [SR 642.14]). Die Beschwerdeführer sind gestützt auf Art. 89 Abs.1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf das frist- und formgerecht eingereichte Rechtsmittel ist grundsätzlich einzutreten.
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
1.3 Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
Die vorliegende Beschwerdeschrift genügt diesen Anforderungen nur teilweise, weshalb insoweit auf die Beschwerde nicht eingetreten werden kann. Ohnehin nicht einzutreten ist auf den Antrag, es seien neben der Aufhebung des angefochtenen Urteils (und Rückweisung der Sache) noch gewisse Feststellungen zu treffen, besteht doch hierfür kein schutzwürdiges Interesse (vgl. statt vieler <ref-ruling> E. 2c S. 303 f.).
2. Zunächst rügen die Beschwerdeführer eine Verletzung des rechtlichen Gehörs infolge mangelhafter Begründung des angefochtenen Entscheids. Wesentlicher Bestandteil des Anspruchs auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV ist die Begründungspflicht. Die Begründung soll verhindern, dass sich die Behörde von unsachlichen Motiven leiten lässt, und sie soll den Betroffenen ermöglichen, ein Erkenntnis sachgerecht anzufechten. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf welche sich ihr Entscheid stützt (<ref-ruling> E. 3.1 S. 277 mit Hinweisen). Zwar begründet die Vorinstanz in E. 2d relativ knapp, weshalb im vorliegenden Fall von gewerbsmässigem Liegenschaftshandel auszugehen ist, und auch ihre Ausführungen zum Einsatz fremder Mittel sowie zur Existenz spezieller Fachkenntnisse vermögen nicht zu überzeugen. Doch aus den Kernaussagen ergibt sich mit genügender Klarheit, weshalb die Vorinstanz hier von gewerbsmässigem Liegenschaftshandel ausgeht (Häufigkeit der Verkäufe, kurze Besitzdauer, planmässiges und systematisches Vorgehen, Gewinnabsicht). Von einer Verletzung der Begründungspflicht kann daher keine Rede sein.
I. Direkte Bundessteuer
3. 3.1 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte mit Ausnahme der Kapitalgewinne (Art. 16 Abs. 1 und Abs. 3 DBG). Steuerbar sind gemäss Art. 18 Abs. 1 DBG alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit. Unter diesen Begriff fällt allgemein jede Tätigkeit, bei der ein Unternehmer auf eigenes Risiko, unter Einsatz von Arbeit und Kapital, in einer frei gewählten Organisation und mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt. Eine solche Tätigkeit kann haupt- oder nebenberuflich, dauernd oder temporär ausgeübt werden. Ob eine selbständige Erwerbstätigkeit vorliegt, ist stets nach den gesamten Umständen des Einzelfalls zu beurteilen; die einzelnen Begriffsmerkmale dürfen nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (<ref-ruling> E. 5b S. 120 f.; <ref-ruling> E. 5a S. 452 f.; Urteil 2C_134/2008 vom 27. Juni 2008 E. 3.1). Keine selbständige Erwerbstätigkeit liegt aber vor, wenn bloss das eigene Vermögen verwaltet wird, insbesondere wenn eigene Liegenschaften vermietet werden. Dies gilt selbst dann, wenn das Vermögen umfangreich ist, professionell verwaltet wird und kaufmännische Bücher geführt werden (Urteil 2C_869/2008 vom 7. April 2009 E. 2.3, in: StE 2009 B 23.1 Nr. 66 mit Hinweisen).
Nach der Praxis des Bundesgerichts liegt steuerbarer Immobilienhandel vor, wenn die steuerpflichtige Person An- und Verkäufe von Liegenschaften nicht nur im Rahmen der privaten Vermögensverwaltung bei sich zufällig bietender Gelegenheit tätigt, sondern wenn sie dies systematisch und mit der Absicht der Gewinnerzielung tut; das heisst, wenn sie eine Tätigkeit entfaltet, die in ihrer Gesamtheit auf Erwerb gerichtet ist. Eine solche Tätigkeit qualifiziert sich als selbständige Erwerbstätigkeit im Sinne von Art. 18 Abs. 1 DBG. Indizien für eine Tätigkeit als selbständig erwerbender Liegenschaftshändler sind etwa die (systematische bzw. planmässige) Art und Weise des Vorgehens, die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die Besitzdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte oder die Realisierung im Rahmen einer Personengesellschaft (<ref-ruling> E. 6a S. 124; neuerdings Urteil 2C_403/2009 & 2C_404/2009 vom 1. März 2010 E. 2.4, in: StR 65, S. 458 ff., 459 f. mit Hinweisen).
Nach der Praxis des Bundesgerichts liegt steuerbarer Immobilienhandel vor, wenn die steuerpflichtige Person An- und Verkäufe von Liegenschaften nicht nur im Rahmen der privaten Vermögensverwaltung bei sich zufällig bietender Gelegenheit tätigt, sondern wenn sie dies systematisch und mit der Absicht der Gewinnerzielung tut; das heisst, wenn sie eine Tätigkeit entfaltet, die in ihrer Gesamtheit auf Erwerb gerichtet ist. Eine solche Tätigkeit qualifiziert sich als selbständige Erwerbstätigkeit im Sinne von Art. 18 Abs. 1 DBG. Indizien für eine Tätigkeit als selbständig erwerbender Liegenschaftshändler sind etwa die (systematische bzw. planmässige) Art und Weise des Vorgehens, die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die Besitzdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte oder die Realisierung im Rahmen einer Personengesellschaft (<ref-ruling> E. 6a S. 124; neuerdings Urteil 2C_403/2009 & 2C_404/2009 vom 1. März 2010 E. 2.4, in: StR 65, S. 458 ff., 459 f. mit Hinweisen).
3.2 Im vorliegenden Fall ist entscheidend, dass die Beschwerdeführer eine umfangreiche unüberbaute Parzelle teilweise von der Mutter (teils ererbt, teils durch Vorempfang) erhalten und teilweise käuflich erworben haben, darauf ein Appartementhaus mit 15 Stockwerkeinheiten konzipieren und sodann realisieren liessen sowie innerhalb eines Jahres sechs Einheiten (d.h. zwei Fünftel) davon gewinnbringend verkaufen konnten. Bereits ein solches Vorgehen ist geeignet, den Rahmen der schlichten Verwaltung des privaten Vermögens zu sprengen, selbst wenn keine besonders hohe Fremdfinanzierung vorlag. In diesem Sinne hat das Bundesgericht im Urteil 2A.538/2000 vom 2. April 2001 E. 4b (NStP 2001, S. 21 ff., 24 f.) beim Verkauf von sieben Stockwerkeinheiten (von insgesamt elf) in weniger als zwei Jahren an verschiedene Käufer eine auf Erwerb gerichtete (gewerbsmässige) Tätigkeit angenommen, obwohl ursprünglich keine Verkaufsabsicht bestanden hatte. Gleich hat es im Urteil 2A.512/2001 vom 12. September 2002 E. 2 (NStP 2002, S. 109 ff., 111) entschieden, obschon das neu erstellte Mehrfamilienhaus nur sieben Stockwerkeinheiten umfasste und davon bloss fünf Einheiten in einem Jahr veräussert und zwei weitere später auf Rechnung künftiger Erbschaft an Nachkommen abgetreten wurden.
Hier kommt noch hinzu, dass sich die beiden Geschwister im Hinblick auf die Planung und Realisierung des Bauvorhabens im Ergebnis zu einer einfachen Gesellschaft zusammenschlossen, was für sich allein ein weiteres Indiz für das Vorliegen einer selbständigen Erwerbstätigkeit ist (Urteil 2A.433/2004 vom 13. April 2005 E. 3.3, in: NStP 2005, S. 15 ff., 19 f.). Zudem ermöglichten sie sich mit dem Gewinn aus den verkauften Stockwerkeinheiten das Zurückbehalten der verbleibenden Appartements zum Zwecke der Dauervermietung. Wohl gehört die letztgenannte Tätigkeit grundsätzlich zur Verwaltung des eigenen Vermögens, aber das hierfür gewählte Vorgehen sprengt bereits diesen Rahmen und ist als selbständige Erwerbstätigkeit im Sinne von Art. 18 Abs. 1 DBG zu qualifizieren. Die Tatsache, dass der Präsident der Bezirkssteuerkommission den Beschwerdeführern eine gegenteilige Auskunft erteilt hat, vermag ihnen nicht zu helfen, zumal die Verkäufe im Zeitpunkt der Auskunftserteilung längst abgewickelt waren. Irgendwelche Vertrauensgesichtspunkte sind damit nicht zu prüfen.
3.3 Schliesslich rügen die Beschwerdeführer auch noch die Gewinnberechnung anhand der veräusserten Wertquoten. Sie favorisieren eine Aufteilung der gesamten Baukosten nach Massgabe der verkauften Bruttogeschossflächen. Sie begründen freilich nicht, weshalb nur ihre Methode - abgesehen davon, dass diese für sie vorteilhafter wäre - zu rechtmässigen Ergebnissen führt. Mangels hinreichender Begründung ist darauf nicht näher einzutreten (vgl. E. 1.3).
3.4 Damit erweist sich Beschwerde betreffend die direkte Bundessteuer als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
II. Kantons- und Gemeindesteuern
4. Art. 14 StG/VS entspricht weitestgehend der entsprechenden Bestimmung des DBG. Es kann deshalb auf das zum DBG Ausgeführte verwiesen werden. Die Beschwerde betreffend die Kantons- und Gemeindesteuern ist ebenfalls unbegründet und abzuweisen, soweit darauf eingetreten werden kann.
5. Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Kantons- und Gemeindesteuern wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, der Steuerrekurskommission des Kantons Wallis und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 16. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass