Sachverhalt:
A. Dr. med. A.X._ praktiziert als Arzt im Bereich der Radiologie. Ab 1992 führte er die Arztpraxis gemeinsam mit seiner Ehefrau B.X._ in Form einer Kommanditgesellschaft (Dr. X._ und Partner) an der R._strasse in O._. Im Laufe des Jahres 2004 wurde diese rückwirkend per 1. Januar 2004 in die "Y._ AG" umgegründet, deren einzige Aktionäre und Verwaltungsräte die Eheleute X._ sind. Seither erfolgt die Rechnungsstellung gegenüber Patienten durch das Röntgeninstitut, und als Leistungserbringer wird ausdrücklich "Dr. med. A.X._, Spezialarzt für Radiologie FMH" angegeben. Adresse und Telefonnummer von "Rechnungssteller" und "Leistungserbringer" sind identisch. Am 1. Dezember 2005 verlegten die Eheleute X._ ihren Wohnsitz von P._/ZH nach Q._/SZ.
B. Die Eheleute X._ deklarierten pro 2004 für die Staats- und Gemeindesteuer ein steuerbares Einkommen von Fr. 133'804.-- bei einem steuerbaren Vermögen von Fr. 5'402'306.-- und für die direkte Bundessteuer ein steuerbares Einkommen von Fr. 134'104.--. Pro 2005 gaben sie nur noch für die Staats- und Gemeindesteuern ein steuerbares Einkommen von Fr. 0 bei einem steuerbaren Vermögen von Fr. 1'445'159.-- (satzbestimmend Fr. 5'833'944.--) an. Demgegenüber schätzte das kantonale Steueramt Zürich die Eheleute X._ am 6. Oktober 2010 pro 2004 für die Staats- und Gemeindesteuer auf ein steuerbares Einkommen von Fr. 533'300.-- bei einem steuerbaren Vermögen von Fr. 5'823'000.-- und für die direkte Bundessteuer auf ein steuerbares Einkommen von Fr. 553'600.--. Pro 2005 schätzte es sie für die Staats- und Gemeindesteuern auf ein steuerbares Einkommen von Fr. 549'000.-- bei einem steuerbaren Vermögen von Fr. 2'771'000.-- (satzbestimmend Fr. 6'008'000.--) ein. Dabei wurde die "Y._ AG" als inaktiv betrachtet und Dr. A.X._ weiterhin als Selbständigerwerbender behandelt, wobei die Bemessung nach den Geschäftsabschlüssen der "Y._ AG" erfolgte. Die dagegen erhobenen Rechtsmittel waren erfolglos.
C. Vor Bundesgericht beantragen A.X._ und B.X._, die Urteile des Verwaltungsgerichts des Kantons Zürich vom 18. April 2012 aufzuheben, den Beschwerdeführern für die Staats- und Gemeindesteuer 2004 und 2005 sowie für die direkte Bundessteuer 2004 "lediglich für den 20%-Anteil aus ärztlichen Leistungen als Selbständigerwerbender zu veranlagen" sowie eventuell die Angelegenheit an das kantonale Steueramt Zürich zurückzuweisen. Sie rügen eine Verletzung des rechtlichen Gehörs (<ref-law>), eine willkürliche Sachverhaltsfeststellung sowie eine Verletzung von Bundesrecht.
D. Das kantonale Steueramt Zürich, das Verwaltungsgericht des Kantons Zürich sowie die Eidgenössische Steuerverwaltung (betr. die direkte Bundessteuer) schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten ist, und betreffend die Staats- und Gemeindesteuern verzichtet die Bundesbehörde auf einen Antrag.

Erwägungen:
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen dieselben Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Bei den angefochtenen Entscheiden handelt es sich um kantonale letztinstanzliche Entscheide über die direkten Steuern des Kantons und des Bundes. Dagegen steht gemäss <ref-law> in Verbindung mit Art. 73 StHG (SR 642.14) sowie mit <ref-law> (SR 642.11) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf die form- und fristgerecht eingereichten Beschwerden der gemäss <ref-law> legitimierten Beschwerdeführer ist grundsätzlich einzutreten.
1.3 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
1.4 Während vor der Vorinstanz noch die Natur der Einkünfte der Beschwerdeführer Streitgegenstand bildete, anerkennen nun die Beschwerdeführer ausdrücklich, "es liege in Bezug auf die ärztliche Leistung eine selbständige Erwerbstätigkeit vor" (Ziffer 2 der Beschwerden). Bestritten wird hier nur noch der weitere vorinstanzliche Schluss, dass sämtliche übrigen Leistungen der radiologischen Praxis ebenfalls im Rahmen der selbständigen Erwerbstätigkeit erbracht worden seien. Damit bildet hier einzig die Bemessung dieser Einkünfte aus selbständiger Erwerbstätigkeit Streitgegenstand.
1.5 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten. In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Dies setzt voraus, dass sich ein Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.). Eine qualifizierte Rügepflicht gilt insbesondere hinsichtlich der Verletzung von Grundrechten. Das Bundesgericht prüft eine solche nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 2.2 S. 246).
Eine den Anforderungen von Art. 42 Abs. 2 bzw. <ref-law> genügende Begründung ist hier insoweit nicht zu erkennen, als eine Verletzung des rechtlichen Gehörs gerügt wird. Eine solche erblicken die Beschwerdeführer darin, dass die Vorinstanz ihren Entscheid mangelhaft begründet habe, indem sie trotz der Pflicht der Anwendung des Rechts von Amtes wegen nur geprüft habe, ob eine ärztliche Tätigkeit vorliegt. Dieser Vorwurf deckt sich mit der Rüge der willkürlichen Sachverhaltsfeststellung, welche nachfolgend zu behandeln ist. Eine Verletzung des rechtlichen Gehörs ist nicht ersichtlich und wird zudem auch nicht hinreichend begründet. Insoweit ist auf die Beschwerde nicht einzutreten.
2. 2.1 Vorliegend steht das Hauptsteuerdomizil der Beschwerdeführer in der Steuerperiode 2004 in P._ im Kanton Zürich und in der Steuerperiode 2005 in Q._ im Kanton Schwyz fest. Ebenso wenig ist nunmehr bestritten, dass die Beschwerdeführer in der Stadt Zürich infolge ihres "Praxisortes" an der R._strasse jedenfalls für die Steuerperiode 2005 kraft wirtschaftlicher Zugehörigkeit beschränkt steuerpflichtig sind. Damit steht die Natur der Einkünfte, die der Beschwerdeführer aus seiner dortigen Arztpraxis bezieht - nämlich Einkünfte aus selbständiger Erwerbstätigkeit - dem Grundsatze nach fest. Im gleichen Sinne entschied das Bundesgericht kürzlich im Urteil 2C_396/2011 vom 26. April 2012 E. 4 (StE 2012 A 24.1 Nr. 7) bei einem Arzt, der in rechtlich verselbständigten Instituten Ultraschalldienstleistungen erbrachte, aber unter seinem persönlichen Namen fakturierte. Vorliegend bildet einzig die Bemessung dieser Einkünfte aus selbständiger Erwerbstätigkeit noch Streitgegenstand (vgl. oben E. 1.4).
2.2 Diesbezüglich bringen die Beschwerdeführer vor, beim Radiologischen Institut handle es sich um gar keine Arztpraxis, weil sich dort teure Apparaturen befänden (u.a. für Röntgen, Computertomographie, Mammographie, Ultraschall, Magnetresonanztomographie) und das zu deren Bedienung spezialisierte Personal. Die eigentliche ärztliche Leistung beschränke sich auf die Auswertung der Bilder. Gemäss dem Tarifsystem TarMED werde für radiologische Untersuchungen zwischen ärztlichen und technischen Leistungen unterschieden. Erstere werden mit rund 20 % des Gesamtbetrages bewertet und die technische Leistung mit rund 80 %. Die Abwicklung der technischen Leistungen über die Y._ AG entspreche nicht nur den faktischen Verhältnissen, sondern stimme auch mit dem Zweck der Gesellschaft überein. Daraus folgert sie, nur ein Anteil von 20 % aus ärztlichen Leistungen aus selbständiger Erwerbstätigkeit dürfe bei den Beschwerdeführern erfasst werden.
Zu dieser Frage nimmt bereits das Steuerrekursgericht in seinem Urteil vom 31. August 2011 eingehend Stellung. Danach gibt die Buchhaltung der Y._ AG das Ergebnis der selbständigen Erwerbstätigkeit des Beschwerdeführers insgesamt wieder und nicht das Resultat einer Bewirtschaftung der Apparaturen. Die für die Infrastruktur zuständige Gesellschaft stand im Übrigen mit den Praxispatienten in keinem Vertragsverhältnis. Wohl erfolgte die Rechnungsstellung gegenüber Patienten durch das Röntgeninstitut, aber als Leistungserbringer (und zwar der Gesamtleistung, d.h. der ärztlichen wie auch der technischen Leistung) wird ausdrücklich Dr. med. A.X._ angegeben. Vor diesem Hintergrund besteht keine Veranlassung, die für versicherungsrechtliche Belange massgebende Aufteilung (20 % / 80%) ebenso für steuerliche Zwecke heranzuziehen. Damit liegt keine offensichtlich unrichtige Sachverhaltsfeststellung durch die Vorinstanz vor. Das vorinstanzliche Urteil ist auch bezüglich der Bemessung der Einkünfte aus selbständiger Erwerbstätigkeit der Beschwerdeführer nicht zu beanstanden.
3. Die Beschwerden erweisen sich damit sowohl für die Staats- und Gemeindesteuer 2004 und 2005 wie auch für die direkte Bundessteuer 2004 als unbegründet und sind abzuweisen, soweit darauf eingetreten werden kann.
4. Bei diesem Verfahrensausgang werden die bundesgerichtlichen Kosten den Beschwerdeführern unter Solidarhaft auferlegt (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_594/2012 und 2C_595/2012 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern der Steuerperiode 2004 und 2005 (2C_594/2012) wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer der Steuerperiode 2004 (2C_595/2012) wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtskosten von Fr. 3'500.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 22. November 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass