Sachverhalt:
A. X._ und Y._ wurden vom Kantonalen Steueramt Solothurn für die Perioden 2004 bis 2006 der Staats- und der direkten Bundessteuer - wie für die Jahre zuvor - an ihrem Familienwohnsitz in Olten veranlagt. Dagegen machten die Pflichtigen vor allen kantonalen Instanzen erfolglos geltend, für 2004 und 2005 hätten sie getrennt veranlagt werden müssen und im Jahr 2006 seien sie gemeinsam im Kanton Tessin domiziliert gewesen.
B. Am 25. August 2011 hat X._ (auch für seine Gattin) Beschwerden in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. In Bezug auf die Staatssteuer (Verfahren 2C_646/ 2011) und die direkte Bundessteuer (2C_647/2011) 2004-6 beantragen die Eheleute im Wesentlichen sinngemäss, das kantonal letztinstanzliche Urteil des Kantonalen Steuergerichts Solothurn vom 30. Mai 2011 aufzuheben.
C. Das Kantonale Steueramt und das Kantonale Steuergericht Solothurn sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde(n), (soweit darauf einzutreten sei). Die Steuerverwaltung des Kantons Tessin hat sich nicht vernehmen lassen.
D. Mit Replik vom 12. Januar 2012 haben die Eheleute X._-Y._ an ihrem Rechtsstandpunkt festgehalten und neu vorgebracht, das angefochtene Urteil sei auch wegen Verletzung des verfassungsmässigen Rechts auf gesetzeskonforme Besetzung des Kantonalen Steuergerichtes Solothurn aufzuheben.

Erwägungen:
I. Prozessuales
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen dieselben Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Die Beschwerden sind grundsätzlich zulässig (vgl. <ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11] sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14]).
1.3 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; BGE 133 Il 249 E. 1.4.2 S. 254). Diesen Begründungsanforderungen genügen die Beschwerdeschriften nur teilweise. Soweit sie nicht erfüllt sind, kann auf die Beschwerden nicht eingetreten werden.
Unzulässig ist insbesondere die Rüge, das Kantonale Steuergericht Solothurn sei rechtswidrig zusammengesetzt gewesen; dabei handelt es sich um eine Verfassungsrüge, die innert Beschwerdefrist substantiiert zu erheben ist; sie kann nicht erst mit der Replik geltend gemacht werden, denn diese dient dazu, sich mit den behördlichen Vernehmlassungen auseinanderzusetzen; sie darf nicht dazu verwendet werden, Vorbringen nachzuholen, die in der Beschwerdeschrift versäumt worden sind. Ebenfalls nicht einzutreten ist auf die Rüge betreffend den Schuldzinsenabzug; dazu kann der Beschwerdeschrift nicht entnommen werden, inwiefern die Behörden falsch vorgegangen sein sollten.
1.4 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht geltend gemacht werden (<ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; vgl. <ref-ruling> E. 1.5 S. 146 f.)
II. Direkte Bundessteuer
2. 2.1 Gemäss <ref-law> sind natürliche Personen aufgrund persönlicher Zugehörigkeit steuerpflichtig, wenn sie ihren steuerrechtlichen Wohnsitz oder Aufenthalt in der Schweiz haben. Einen solchen Wohnsitz hat eine Person insbesondere dann, wenn sie sich mit der Absicht dauernden Verbleibens aufhält (<ref-law>). Ehegatten, die in rechtlich und tatsächlich ungetrennnter Ehe leben, werden zusammen veranlagt (<ref-law>). Gemäss Art. 15 der Verordnung über die zeitliche Bemessung der direkten Bundessteuer bei natürlichen Personen vom 16. September 1992 (VZBNP, SR 642.117.1) erfolgt eine Zusammenveranlagung selbst dann, wenn die Ehegatten - bei intakter Ehe - je über einen eigenen Wohnsitz verfügen. Die gemeinsame Veranlagung der Ehegatten erfolgt in demjenigen Kanton, in welchem das Ehepaar seine überwiegenden persönlichen und wirtschaftlichen Interessen hat.
2.2 Auf diese Bestimmungen hat sich die Vorinstanz gestützt, um für jede einzelne der hier streitigen Perioden 2004 bis 2006 festzuhalten, dass die Beschwerdeführer weiterhin ihren gemeinsamen Wohnsitz im Kanton Solothurn hatten und nicht getrennt zu veranlagen waren. Das vermag vollumfänglich zu überzeugen und ist vom Steuergericht für jede Periode differenziert sowie sorgfältig begründet worden. Es kann somit ohne weiteres auf die entsprechenden Ausführungen im angefochtenen Urteil (vgl. dort E. 2-6) verwiesen werden.
2.3 An der Gemeinschaftsbesteuerung von Ehegatten wird u.a. bei einer faktischen Trennung nicht mehr festgehalten, indem die nunmehr getrennt lebenden Ehegatten für die ganze Steuerperiode je separat veranlagt werden. Das setzt aber im Wesentlichen kumulativ voraus, dass der gemeinsame Haushalt dauerhaft aufgehoben ist und auch keine Gemeinschaftlichkeit der Mittel für Wohnung sowie Unterhalt mehr besteht. Diese Voraussetzungen entsprechen den einschlägigen Rechtsbestimmungen (vgl. insb. Art. 5 Abs. 2 VZBNP), den massgeblichen Kreisschreiben der Eidgenössischen Steuerverwaltung (vgl. u.a. ASA 63 286 f.) und der ständigen Praxis des Bundesgerichts (vgl. u.a. StR 62/2007 352 E. 4.1, 60/2005 435 E. 3.2; ASA 71 558 E. 2b; je mit weiteren Hinweisen).
Wie die Vorinstanz auch diesbezüglich ausführlich und zutreffend geurteilt hat, lassen zahlreiche Elemente nur den Schluss zu, dass in den hier streitigen Perioden zu keinem Zeitpunkt von einer dauerhaften Aufhebung des gemeinsamen Familienwohnsitzes in Olten die Rede sein konnte, während die Gemeinschaftlichkeit der Mittel in allen Jahren weiterbestand. Was die Beschwerdeführer dagegen vorbringen, ist entweder vom Steuergericht schon entkräftet worden oder erweist sich als unzulässiges Novum (vgl. oben E. 1.4).
III. Kantons und Gemeindesteuern
3. Die diesbezüglich massgeblichen Bestimmungen (vgl. insb. Art. 3 StHG und § 8 des solothurnischen Gesetzes über die Staats- und Gemeindesteuern vom 1. Dezember 1985 [StG, BGS 614.11]) stimmen mit denen zur direkten Bundessteuer überein. Dementsprechend muss ihre Anwendung zum gleichen Ergebnis führen.
IV. Kosten
4. Nach dem Gesagten sind die Verfahren zu vereinigen und die Beschwerden abzuweisen, soweit darauf überhaupt eingetreten werden kann. Bei diesem Verfahrensausgang werden die Beschwerdeführer unter Solidarhaft kostenpflichtig (vgl. Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_646/2011 und 2C_647/2011 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer (2C_647/2011) wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staatssteuern (2C_646/2011) wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
5. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt und dem Kantonalen Steuergericht Solothurn, der Eidgenössischen Steuerverwaltung sowie der Divisione delle contribuzioni del Cantone Ticino schriftlich mitgeteilt.
Lausanne, 18. September 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Matter