Sachverhalt:
A. X._ ist Inhaber der Einzelfirma Y._, welche Dienstleistungen im Bereich R._ und S._ erbringt, sowie Kurse auf dem Gebiet T._ durchführt und mit diesbezüglichen Produkten handelt. Dieses Einzelunternehmen war ursprünglich in einem Shopping Center domiziliert, wo X._ auch selbst wohnte. Per 1. Dezember 2002 verlegte dieser das Geschäftsdomizil nach B._/SZ und liess die Einzelfirma Y._ unverzüglich im Handelsregister des Kantons Schwyz eintragen. Mit Vertrag vom 20. November 2002 hatte er von der Q._ AG in B._/SZ, Bürobasisdienstleistungen wie Sekretariats-, Sachbearbeitungs- und Buchhaltungsdienstleistungen für monatlich Fr. 690.-- erstanden. Bis am 30. November 2003 war er in A._/AG wohnhaft und zog danach nach B._/SZ (Gemeinde C._), wo er an der Strasse D._ eine 2-Zimmer-Wohnung für monatlich Fr. 1'040.-- (ohne Nebenkosten) mietete.
B. B.a Mit (berichtigter) Veranlagungsverfügung vom 5. April 2005 hatte die kantonale Steuerverwaltung Schwyz X._ für die Kantons- und Gemeindesteuern 2003 mit einem steuerbaren Einkommen von Fr. 258'500.-- (zugleich satzbestimmend) und einem steuerbaren Vermögen von Fr. 218'000.-- eingeschätzt (dazu direkte Bundessteuer von Fr. 263'700.--). Weil sich das Hauptsteuerdomizil von X._ am massgebenden Stichtag (31. Dezember 2003) im Kanton Schwyz befand, ging sie von einer unbeschränkten Steuerpflicht in diesem Kanton aus, ohne ein Nebensteuerdomizil im Kanton Aargau anzunehmen. Diese Veranlagung blieb unangefochten und erwuchs in Rechtskraft.
B.b Die Steuerkommission A._/AG veranlagte X._ am 26. März 2009 für die Kantons- und Gemeindesteuern 2003 mit einem steuerbaren Einkommen von Fr. 262'600.-- (satzbestimmend Fr. 264'000.--) und einem steuerbaren Vermögen von Fr. 104'000.-- (satzbestimmend Fr. 312'000.--). Dabei ging sie von einem in A._ weiter bestehenden Geschäftsdomizil aus und erfasste die Einkünfte und Vermögenswerte der Einzelfirma vollumfänglich. Die dagegen erhobene Einsprache hiess die Steuerkommission A._ am 6. Januar 2010 teilweise gut und setzte das steuerbare Einkommen auf Fr. 252'700.-- (zugleich satzbestimmend) und das steuerbare Vermögen auf Fr. 68'000.-- (satzbestimmend Fr. 215'000.--) herab, wobei sie am Geschäftsdomizil A._/AG festhielt. Rekurs an das Steuerrekursgericht des Kantons Aargau und Beschwerde an das Verwaltungsgericht des Kantons Aargau waren erfolglos.
C. Mit Beschwerde gegen die Kantone Aargau und Schwyz beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Aargau vom 28. Juli 2011, das Steuerrekursgerichtsurteil, den Einspracheentscheid und die entsprechenden Rechnungen des Kantons Aargau aufzuheben, sodann festzustellen, dass er in der Steuerperiode 2003 im Kanton Aargau keiner Besteuerung unterliege, eventuell die Angelegenheit an das Verwaltungsgericht des Kantons Aargau zurückzuweisen zwecks Abnahme der angebotenen Beweise. Er beantragt eventualiter, die Veranlagung vom 5. April 2005 betreffend die Steuerperiode 2003 im Kanton Schwyz aufzuheben und diesen anzuweisen, eine Steuerausscheidung mit dem Kanton Aargau bzw. der Gemeinde A._/AG vorzunehmen und die zuviel eingenommenen Steuern zurückzubezahlen. Er rügt eine Verletzung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) sowie eine Verletzung von Bundesrecht (Art. 127 Abs. 3 BV).
D. Während das Kantonale Steueramt Aargau die Abweisung der Beschwerde beantragt, verzichten das Verwaltungsgericht des Kantons Aargau, die Eidgenössische Steuerverwaltung sowie die Steuerverwaltung des Kantons Schwyz auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts des Kantons Aargau vom 28. Juli 2011 betreffend die Staats- und Gemeindesteuern der Steuerperiode 2003 ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 82 lit. a in Verbindung mit Art. 86 Abs. 1 lit. d BGG). Der Beschwerdeführer ist gestützt auf Art. 89 Abs. 1 BGG zur Anfechtung des vorinstanzlichen Entscheids legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist grundsätzlich einzutreten (Art. 100 BGG). Nicht einzutreten ist aber insoweit, als sich die Beschwerde auch gegen das Steuerrekursgerichtsurteil sowie den Einspracheentscheid richtet, bildet doch nach dem Devolutiveffekt das angefochtene Urteil alleiniger Anfechtungsgegenstand (vgl. Art. 86 BGG; Urteil 2C_348/2010 vom 19.10.2010 E. 1.1).
1.2 Bei Beschwerden wegen interkantonaler Kompetenzkonflikte kann die bereits rechtskräftige Veranlagung des Kantons Schwyz für die Steuerperiode 2003 ebenfalls mit angefochten werden (Art. 100 Abs. 5 BGG, vgl. zum OG noch <ref-ruling> E. 2.1 S. 147), obwohl sie kein Urteil im Sinne von Art. 86 BGG bildet (<ref-ruling> E. 2.4 S. 307, 308 E. 2.4 S. 313).
1.3 Selbst auf dem Gebiet der interkantonalen Doppelbesteuerung wird verlangt, dass der kantonale Instanzenzug zumindest in einem Kanton durchlaufen wurde (Art. 100 Abs. 5 in Verbindung mit Art. 86 Abs. 1 lit. d BGG). Daraus ergibt sich hier, dass gegen den kantonal letztinstanzlichen Entscheid des Verwaltungsgerichts des Kantons Aargau neue Tatsachen und Beweismittel nur in dem Ausmass zuzulassen sind, als dieser Entscheid dazu Anlass gibt (vgl. Art. 99 Abs. 1 BGG). Zudem legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (vgl. Art. 105 Abs. 1 BGG); von deren Sachverhaltsfeststellungen kann nur abgewichen werden, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (vgl. Art. 105 Abs. 2 BGG; vgl. Urteil 2C_667/2008 vom 4. März 2009 E. 1.3).
1.4 Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.2 S. 254). Diesen Begründungsanforderungen genügt die Beschwerdeschrift nur teilweise. Soweit sie nicht erfüllt sind, kann auf die Beschwerde nicht eingetreten werden.
2. 2.1 Eine gegen Art. 127 Abs. 3 BV verstossende Doppelbesteuerung liegt vor, wenn eine steuerpflichtige Person von zwei oder mehreren Kantonen für das gleiche Steuerobjekt und für die gleiche Zeit zu Steuern herangezogen wird (aktuelle Doppelbesteuerung) oder wenn ein Kanton in Verletzung der geltenden Kollisionsnormen seine Steuerhoheit überschreitet und eine Steuer erhebt, die einem anderen Kanton zusteht (virtuelle Doppelbesteuerung). Ausserdem darf ein Kanton eine steuerpflichtige Person grundsätzlich nicht deshalb stärker belasten, weil sie nicht im vollem Umfang seiner Steuerhoheit untersteht, sondern zufolge ihrer territorialen Beziehungen auch noch in einem anderen Kanton steuerpflichtig ist (Schlechterstellungsverbot, vgl. <ref-ruling> E. 2.1 S. 306 f.; <ref-ruling> E 2.1 S. 311; je mit Hinweisen; zum Ganzen auch KURT LOCHER/PETER LOCHER, Die Praxis der Bundessteuern, III. Teil, Interkantonale Doppelbesteuerung, § 1, II A, Nr. 20).
Im vorliegenden Fall ist das Hauptsteuerdomizil des Beschwerdeführers für die Steuerperiode 2003 in B._/SZ unbestritten. Während aber der Kanton Aargau von einem Nebensteuerdomizil (Geschäftsart) des Beschwerdeführers in A._/AG ausgeht, anerkennt der Kanton Schwyz keine wirtschaftliche Zugehörigkeit zu einem anderen Kanton und besteuert sämtliche Einkünfte und Vermögenswerte des Beschwerdeführers, d.h. auch diejenigen aus selbständiger Erwerbstätigkeit, an dessen Hauptsteuerdomizil. Damit liegt jedenfalls im Umfang der Unternehmenseinkünfte und -vermögenswerte des Beschwerdeführers eine aktuelle Doppelbesteuerung vor.
2.2 Das Einkommen aus selbständiger Erwerbstätigkeit, das in einer Geschäftsniederlassung mit ständigen Einrichtungen erzielt wird, und das dieser Tätigkeit dienende bewegliche Vermögen sind nach der Rechtsprechung am Geschäftsort zu versteuern. Eine Niederlassung ausserhalb des Hauptsteuerdomizils kann allerdings nicht schon aufgrund einer bloss formalen Erklärung (z.B. durch einen Handelsregistereintrag, einen Briefkasten oder gar ein Postfach) angenommen werden. Vielmehr muss sich die dortige Tätigkeit in ständigen körperlichen Anlagen und Einrichtungen entfalten, welche aber nicht im Eigentum des Inhabers zu stehen brauchen. Eine Geschäftsniederlassung wird verneint, wenn sie den wirklichen Verhältnissen nicht entspricht und als künstlich geschaffen erscheint (Urteil 2C_726/2010 vom 25. Mai 2011 E. 2.2, in: StE 2011 A 24.24.41 Nr. 5 mit Hinweisen). Wird ein solches Spezialsteuerdomizil geltend gemacht, so fordert die Praxis weiter, dass sich die Erwerbstätigkeit hauptsächlich am Geschäftsort abspielt. Bei Tätigkeiten, die ihrer Natur nach nicht überwiegend von an sich vorhandenen ständigen Anlagen und Einrichtungen aus erbracht werden, sondern dezentral bei diversen Kunden bzw. Abnehmern, kann es nicht darauf ankommen, wo diese wohnhaft sind. Es genügt, wenn die übrigen Tätigkeiten (z.B. Vorbereitungs- sowie administrative Arbeiten) vorwiegend am Geschäftsort ausgeübt werden (Urteil 2C_667/2008 vom 4. März 2009 E. 2.2 = LOCHER/LOCHER, a.a.O., § 5, II A, Nr. 14; vgl. auch Urteil 2C_619/2010 vom 22. November 2010 E. 3 = LOCHER/LOCHER, a.a.O., § 5, II A, Nr. 16).
2.3 In Bezug auf die Beweislast gilt grundsätzlich, dass es den Behörden obliegt, die subjektive Steuerpflicht als steuerbegründende Tatsache darzutun. Der steuerpflichtigen Person kann aber der Gegenbeweis für die von ihr behauptete subjektive Steuerpflicht an einem neuen Ort auferlegt werden, wenn die von der Behörde angenommene bisherige subjektive Steuerpflicht als sehr wahrscheinlich gilt. Dabei kann diese Regel nicht nur herangezogen werden, wenn der Ort des Hauptsteuerdomizils umstritten ist, sondern ebenso sehr dann, wenn ein Nebensteuerdomizil (sekundäres Steuerdomizil oder Spezialsteuerdomizil) in Frage steht, sei es, dass ein solches neu begründet oder ein bisheriges aufgehoben wird (Urteil 2C_726/2010 vom 25. Mai 2011 E. 2.3, in: StE 2011 A 24.24.41 Nr. 5 mit Hinweisen).
3. 3.1 Für die Steuerperiode 2002 hatten die aargauischen Steuerbehörden (Steuerkommission A._ und Steuerrekursgericht) ein Nebensteuerdomizil (Geschäftsort) des Beschwerdeführers in B._/SZ verneint, weil er dort über keine ständigen Einrichtungen verfügte (Urteil des Steuerrekursgerichts vom 22. Mai 2008 E. 5.5). Die aufgrund des Vertrags mit der Q._ AG in B._/SZ, bestehende Bürobenützung war nicht immerzu gewährleistet und nach Massgabe der - nicht nachgewiesenen - tatsächlichen Nutzung zudem zusätzlich zu entschädigen.
3.2 Für die hier massgebende Steuerperiode 2003 ist die Ausgangslage nun insofern anders, als sich das Hauptsteuerdomizil des Beschwerdeführers anerkanntermassen (neu) in B._/SZ befindet. Sofern nunmehr kein ausserkantonaler Geschäftsort auszumachen ist, sind die Einkünfte aus selbständiger Erwerbstätigkeit und das Erwerbsvermögen am Hauptsteuerdomizil steuerbar (Urteil 2C_667/2008 vom 4. März 2009 E. 2.2, in: StE 2009 A 24.24.42 Nr. 3 = LOCHER/LOCHER, a.a.O., § 5, II A, Nr. 14). Dabei stellt sich die Frage, wie in einem solchen Fall die Beweislast zu verteilen ist. Grundsätzlich trägt der Kanton Aargau die Beweislast für das erstmals geltend gemachte Nebensteuerdomizil (Geschäftsort) in A._/AG, auch wenn diese Anknüpfung bisher im Hauptsteuerdomizil aufgegangen war. Denn es kann nicht dem Kanton des anerkannten neuen Hauptsteuerdomizils (B._/SZ) obliegen, den Umfang der unbeschränkten Steuerpflicht darzutun und den Nachweis zu erbringen, dass sich auch die Geschäftsniederlassung des Beschwerdeführers in diesem Kanton befindet. Wenn nämlich die Qualität der Steuerpflicht als solche ändert (eine unbeschränkte Steuerpflicht wird zu einer beschränkten und umgekehrt), hat dies zwangsläufig Auswirkungen auf die Verteilung der Beweislast. Deshalb kann hier die erwähnte weitere Regel, wonach der steuerpflichtigen Person der Gegenbeweis für die behauptete subjektive Steuerpflicht an einem neuen Ort aufzuerlegen sei, entgegen der Vorinstanz nicht zum Zuge kommen. Allerdings ändert diese modifizierte Beweislastverteilung am Ergebnis nichts, weil der Vorinstanz der Nachweis einer fortbestehenden subjektiven (beschränkten) Steuerpflicht aufgrund eines Geschäftsortes ohne Weiteres gelingt.
3.3 Die Vorinstanz weist nämlich zu Recht darauf hin, dass der Beschwerdeführer in der Jahresrechnung 2003 seiner Einzelfirma - trotz Abzugs des Hauptsteuerdomizils von A._/AG - den Mietzins für die 31⁄2-Zimmer-Wohnung in A._ weiterhin als Aufwand verbucht hat. Diese - von einem Treuhänder vorgenommene - Verbuchung ist nicht etwa nur eine private Angelegenheit des Beschwerdeführers, sondern ist auch gegenüber Dritten und insbesondere gegenüber den Steuerbehörden von Bedeutung (vgl. ARTHUR MEIER-HAYOZ/PETER FORSTMOSER, Schweizerisches Gesellschaftsrecht, 10. Aufl. 2007, S. 202 ff.). Entsprechend muss er sich an der buchmässigen Darstellung dieses Mietverhältnisses behaften lassen. Danach standen dort dem Beschwerdeführer bzw. seiner Einzelfirma ständige körperliche Anlagen und Einrichtungen als notwendiges Merkmal des sogenannten Geschäftsortes (Urteil 2P.165/2006 vom 7. Dezember 2006 E. 4.2 = LOCHER/LOCHER, a.a.O., § 8, V, Nr. 7) weiterhin zur Verfügung. Der Beschwerdeführer versucht zwar die sich aufgrund der Buchhaltung ergebende Vermutung für die Richtigkeit dieser Darstellung umzustossen, indem er die unentgeltliche Nutzung dieser Räumlichkeiten durch eine andere, ihm gehörende Gesellschaft (Z._ GmbH) behauptet. Allerdings gelingt ihm dies nicht, zumal er nicht im Stande war, einen Untermietvertrag mit der Parallelgesellschaft zu unterbreiten. Selbst ein unentgeltliches Nutzungsrecht müsste im Übrigen buchhalterisch korrekt abgebildet werden, was aber hier nicht der Fall ist. Nebst diesem formalen Anknüpfungspunkt stellt die Vorinstanz noch fest, die meisten Einkäufe für geschäftliche Bedürfnisse sowie die Auslagen für Benzintankfüllungen seien im Raum A._/AG getätigt worden. Dies deute daraufhin, dass sich die geschäftlichen Aktivitäten weiterhin dort und nicht im Kanton Schwyz abgespielt hatten. Dies gilt umso mehr, als der Dienstleistungsvertrag mit der Q._ AG in unverändertem Rahmen weiter geführt wurde und nichts auf eine intensivere Nutzung dieser Infrastruktur im Jahre 2003 hinweise.
3.4 Der Beschwerdeführer rügt allerdings in diesem Zusammenhang eine Verletzung des rechtlichen Gehörs, weil die von ihm im vorinstanzlichen Verfahren angebotenen Beweismittel nicht abgenommen und insbesondere die von ihm benannten Zeugen nicht angehört wurden. Allerdings durfte die Vorinstanz auf die Abnahme der beantragten Beweismittel verzichten, ohne hierdurch gegen den Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) zu verstossen, wenn sie aufgrund bereits abgenommener Beweise ihre Überzeugung gebildet hatte und in vorweggenommener (antizipierter) Beweiswürdigung annehmen konnte, ihre Überzeugung werde sich durch weitere Beweiserhebungen nicht ändern (<ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 3 S. 157; je mit Hinweisen). In interkantonalen Doppelbesteuerungsstreitigkeiten wird der Zeugenbeweis häufig angerufen (vgl. Urteil 2C_178/2011 vom 2. November 2011 E. 3.3; Urteil 2C_672/2010 vom 30. Juni 2011 E. 4.4.4). Auch wenn das aargauische Steuerrecht den Zeugenbeweis kennt (CONRAD WALTHER, Kommentar zum Aargauer Steuergesetz, 3. Aufl. 2009, Rz. 16 zu § 174 StG), erübrigt sich die Anhörung von Zeugen im Steuerverfahren regelmässig, weil entweder bereits schriftlich fixierte Aussagen der als Zeugen zu befragenden Personen vorliegen und ein zusätzlicher Erkenntnisgewinn nicht zu erwarten ist oder weil es sich bei den zur Aussage bereiten Personen um der steuerpflichtigen Person Nahestehende handelt, von denen kaum ein unbeeinflusstes Zeugnis zu erwarten wäre. So verhält es sich auch hier: Abgesehen vom hier nicht relevanten Zeugen V._ benannte der Beschwerdeführer vor der Vorinstanz die drei Zeugen ZA._, ZB._ und ZC._, die alle für die Z._ GmbH in der 31⁄2-Zimmer-Wohnung in A._/ AG tätig waren. Dass aber diese Personen negativ hätten bezeugen können, an diesem Geschäftsort sei "exklusiv" nur dieses Unternehmen aktiv gewesen und der Beschwerdeführer selbst sei dort nie zugunsten der Y._ tätig gewesen, ist mit der Vorinstanz zu verneinen. Allfällige Gefälligkeitsaussagen hätten den sich aufgrund der Jahresrechnung 2003 ergebenden Sachverhalt nicht umzustossen vermocht. Die Vorinstanz durfte daher ohne Gehörsverletzung auf die Anhörung der diversen Zeugen verzichten.
3.5 Es ist daher hier davon auszugehen, dass sich 2003 der Geschäftsort des Beschwerdeführers weiterhin in A._/AG befand und nicht in B._/SZ. Damit ist grundsätzlich das gesamte Einkommen aus selbständiger Erwerbstätigkeit und das dieser Tätigkeit dienende Vermögen diesem Geschäftsort bzw. dem Kanton Aargau zuzurechnen und darf umgekehrt am Hauptsteuerdomizil im Kanton Schwyz nicht gleichfalls besteuert werden.
4. 4.1 Die Beschwerde gegenüber dem Kanton Aargau ist dem Gesagten zufolge unbegründet und abzuweisen, soweit darauf einzutreten ist. Soweit sich die Beschwerde gegen den Kanton Schwyz richtet, ist sie gutzuheissen, soweit darauf einzutreten ist, und die angefochtene Veranlagung aufzuheben. Der Kanton Schwyz hat den Beschwerdeführer für die Steuerperiode 2003 im Sinne der Erwägungen neu zu veranlagen und die zuviel bezogenen Steuern zurückzuerstatten.
4.2 Die Kosten des bundesgerichtlichen Verfahrens sind dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Dieser obsiegt zwar insoweit, als die aktuelle Doppelbesteuerung beseitigt wird. Aber mit seinem Hauptbegehren, im steuergünstigen Kanton Schwyz besteuert zu werden, vermag er nicht durchzudringen. Das Unterliegen in diesem Punkt kann bei der Verlegung der Kosten in den Vordergrund gestellt werden. Dass die konkurrierende Veranlagung aufgehoben werden muss, darf bei der Kostenverlegung ausser Acht gelassen werden. Aus demselben Grund kann auch von der Zusprechung einer Parteientschädigung abgesehen werden (vgl. Art. 68 Abs. 1 BGG; Urteil 2C_892/2008 vom 2. Dezember 2009 E. 5).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde gegenüber dem Kanton Aargau wird abgewiesen.
2. Die Beschwerde gegenüber dem Kanton Schwyz wird gutgeheissen, soweit darauf einzutreten ist, und die Verfügung vom 5. April 2005 wird aufgehoben. Die Sache wird an das Steueramt des Kantons Schwyz zurückgewiesen zwecks Neuveranlagung des Beschwerdeführers für die Steuerperiode 2003 im Sinne der Erwägungen und Rückerstattung der zuviel bezogenen Steuern.
3. Die Gerichtskosten von Fr. 3000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Aargau, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 1. März 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Errass