Sachverhalt:
A. X.A._ war Inhaber der Einzelfirma "X._ Auto" an der C._strasse in F._. Im Laufe des Jahres 2005 veräusserte er einerseits die Betriebsliegenschaft C._strasse 74-80 gewinnbringend und wertete andererseits die ebenfalls Geschäftsvermögen bildende Nachbarliegenschaft C._strasse 82 um 6 Mio Franken auf. Den Erlös aus dem Verkauf der erstgenannten Liegenschaft von Fr. 6'310'470.-- investierte er in den Garagenneubau der als Rechtsnachfolgerin der Einzelfirma neu gegründeten X._ AG in D._.
B. Mit Verfügungen vom 17. September 2007 veranlagte die Steuerverwaltung des Kantons Zug X.A._ und X.B._ nach Ermessen auf ein steuerbares Einkommen von Fr. 591'300.-- für die Kantons- und Gemeindesteuern 2005 (Vermögen Fr. 19'655'000.--) sowie von Fr. 645'900.-- für die direkte Bundessteuer 2005 und sprach eine Ordnungsbusse von Fr. 200.-- wegen Nichteinreichens der Steuererklärung aus. Auf Einsprache hin wurde das steuerbare Einkommen mit Entscheid vom 12. Juli 2010 auf Fr. 11'669'800.-- (satzbestimmend Fr. 11'709'400.--) bei der Kantons- und Gemeindesteuer bzw. auf Fr. 11'726'800.-- bei der direkten Bundessteuer angehoben (Vermögen Fr. 18'835'000.--, satzbestimmend Fr. 19'009'000.--), indem die geltend gemachte Ersatzbeschaffung von Fr. 6'310'470.-- nicht und die Aufwertung von Fr. 6'000'000.-- nicht erfolgsneutral anerkannt wurden; die Steuerbehörde berücksichtigte dagegen Fr. 1'176'149.-- geschätzte AHV-Beiträge. Dagegen legten X.A._ und X.B._ erfolglos Rechtsmittel ein.
C. X.A._ und X.B._ beantragen vor Bundesgericht, das Urteil des Verwaltungsgerichts des Kantons Zug vom 21. Juli 2011 aufzuheben, das steuerbare Einkommen für die Steuerperiode 2005 für die Kantons- und Gemeindesteuer auf Fr. 590'339.-- (satzbestimmend Fr. 630'049.--) sowie für die direkte Bundessteuer auf Fr. 647'300.-- festzusetzen und eventuell die Ersatzbeschaffung im Umfange von Fr. 6'310'470.-- anzuerkennen.
D. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Zug beantragen die Abweisung der Beschwerde, während die Eidgenössische Steuerverwaltung bezüglich der direkten Bundessteuer auf Nichteintreten und eventuell Abweisung der Beschwerde schliesst.
Erwägungen:
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen dieselben Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; BGE 131 V 59 E. 1 S. 60 f. mit Hinweis).
1.2 Angefochten ist der Entscheid des Verwaltungsgerichts des Kantons Zug in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt und daher mit Beschwerde an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a BGG in Verbindung mit Art. 146 DBG [SR 642.11] sowie Art. 73 StHG [SR. 642.14]). Die Beschwerdeführer sind gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel ist grundsätzlich einzutreten.
1.3 Mit der Beschwerde kann namentlich eine Rechtsverletzung nach Art. 95 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
1.4 Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten. In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet ist (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254).
Die beim Bundesgericht eingereichte Beschwerde unterscheidet sich nur wenig von der Eingabe, welche die Beschwerdeführer vor der Vorinstanz anhängig gemacht haben. Die Beschwerdebegründung setzt sich zudem in keiner Weise mit den differenzierten Erwägungen des Verwaltungsgerichts auseinander und legt kaum dar, inwiefern diese Bundesrecht verletzen. Es erscheint deshalb als höchst fraglich, ob überhaupt eine formgültige Beschwerde vorliegt (BGE 134 II 244 E. 2.3 S. 246 f.). Die Frage kann jedoch offen bleiben, da die Beschwerde ohnehin abgewiesen werden muss.
2. 2.1 Steuerbar sind gemäss Art. 18 Abs. 1 DBG alle Einkünfte aus einem Handels-, Industrie-, Gewerbe-, Land- und Forstwirtschaftsbetrieb, aus einem freien Beruf sowie aus jeder anderen selbständigen Erwerbstätigkeit. Zu den Einkünften aus selbständiger Erwerbstätigkeit zählen auch alle Kapitalgewinne aus Veräusserung, Verwertung oder buchmässiger Aufwertung von Geschäftsvermögen (Art. 18 Abs. 2 Satz 1 DBG). Für Steuerpflichtige, die eine ordnungsgemässe Buchhaltung führen, gilt Art. 58 DBG (d.h. der Grundsatz der Massgeblichkeit der Handelsbilanz für die Steuerbilanz) sinngemäss (Art. 18 Abs. 3 DBG). Beim Ersatz von betriebsnotwendigem Anlagevermögen können die stillen Reserven auf ein Ersatzobjekt mit gleicher Funktion übertragen werden (Art. 30 Abs. 1 DBG).
2.2 Hier hat der Beschwerdeführer, der eine offensichtlich buchführungspflichtige Garage betrieb, weder den aus dem Verkauf der Liegenschaft C._strasse 74-80 erzielten Kapitalgewinn noch den aus der Aufwertung der C._strasse 82 erzielten Aufwertungsgewinn ordnungsgemäss verbucht. Dass der letztgenannte Gewinn gestützt auf Art. 18 Abs. 2 Satz 1 DBG einkommenssteuerlich zu erfassen ist, anerkennen aufgrund ihres Eventualantrags auch die Beschwerdeführer.
2.3 Hauptsächlich umstritten ist daher nur noch die Frage, ob im vorliegenden Fall die Voraussetzungen für eine - steuerneutrale - Ersatzbeschaffung erfüllt sind. Dabei stützt sich die Vorinstanz auf das Massgeblichkeitsprinzip, das nach Art. 18 Abs. 3 DBG sinngemäss anwendbar ist. Danach gilt ein handelsrechtlich ausgewiesener Kapitalgewinn grundsätzlich auch steuerlich als realisiert, sofern nicht das Ersatzobjekt entsprechend abgeschrieben (oder eine "Rückstellung" in diesem Umfang gebildet) wird; die steuerneutrale Ersatzbeschaffung setzt nämlich im Ergebnis eine erfolgsneutrale Verbuchung voraus (vgl. Konferenz Staatlicher Steuerbeamter, Harmonisierung des Unternehmenssteuerrechts, 1995, S. 47). Freilich gilt das Massgeblichkeitsprinzip nur für Steuerpflichtige, die eine ordnungsgemässe Buchhaltung führen. Dies ist aber hier jedenfalls hinsichtlich der Jahresrechnung 2005 - trotz der Bescheinigung durch die Kontrollstelle vom 15. Mai 2006 - offensichtlich nicht der Fall. Eine steuerneutrale Ersatzbeschaffung sollte zwar ausnahmsweise auch dann möglich sein, wenn eine kaufmännische Buchhaltung fehlt (HANS-PETER SCHERTENLEIB, Ersatzbeschaffung im Geschäftsvermögen, in: Markus Langenegger, Handbuch zur bernischen Vermögensgewinnsteuer, 1999, Anhang zu Art. 27b und 64g, Rz. 4 S. 256). Allerdings muss dem Gesagten zufolge sichergestellt sein, dass sich die Steuerneutralität nicht im Ergebnis als Steuerbefreiung auswirkt. Erfolgt - wie hier - zwischen Verkauf der Geschäftsliegenschaft und Reinvestition des Erlöses eine steuerneutrale Umstrukturierung im Sinne von Art. 19 DBG, ist an sich das wichtige Erfordernis der Unternehmensidentität noch gewahrt (PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, Rz. 6 zu Art. 30 DBG). Immerhin müsste der Buchwert der Ersatzliegenschaft um die auf dieses Objekt übertragenen stillen Reserven tiefer liegen (ROBERT DANON, Commentaire romand de l'impôt fédéral direct, 2008, N 18 ad art. 64 LIFD; MARKUS REICH/MARINA ZÜGER, Kommentar zum Schweizerischen Steuerrecht [I/2A], Bundesgesetz über die direkte Bundessteuer [DBG], 2. Aufl. 2008, N 20 zu Art. 30 DBG; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/ HANS ULRICH MEUTER, Handkommentar zum DBG, 2. Aufl. 2009, N 24 zu Art. 64 DBG; vgl. auch Urteil 2A.586/2005 vom 10. März 2005 E. 2.2). Gerade daran gebricht es hier, ist doch der "Neubau Garage D._" in der ersten Jahresrechnung der "X._ AG, E._" für das Geschäftsjahr vom 1. April 2006 bis am 31. Dezember 2006 mit rund 15,7 Mio Franken bilanziert, ohne dass daraus eine Unterbewertung im Umfang von rund 6 Mio Franken (d.h. im Ausmass der realisierten stillen Reserven) ersichtlich wäre. Auf diese Weise könnte die Ersatzliegenschaft in Zukunft erneut erfolgswirksam abgeschrieben werden, was aber nicht im Sinne einer steuerneutralen Ersatzbeschaffung liegen kann. Wenn daher die Vorinstanz die einkommenssteuerliche Erfassung des - buchmässig nicht ausgewiesenen - Kapitalgewinns auf der ersetzten Liegenschaft geschützt hat, so ist dies weder willkürlich noch unverhältnismässig, sondern vielmehr sachgerecht.
2.4 Zusammenfassend erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
3. § 17, 27 und 59 Abs. 2 des Steuergesetzes des Kantons Zug vom 25. Mai 2000 (BGS 632.1) stimmen mit den entsprechenden Artikeln des DBG überein. Für die Kantons- und Gemeindesteuern ergibt sich damit kein Resultat, das von demjenigen der direkten Bundessteuer abweicht. Damit erweist sich auch die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Kantons- und Gemeindesteuern als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
4. Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_741/2011 und 2C_742/2011 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer (2C_742/2011) wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Kantons- und Gemeindesteuern (2C_741/2011) wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtsgebühr von Fr. 20'000.-- wird den Beschwerdeführern unter Solidarhaft auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zug, Abgaberechtliche Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 19. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass