Sachverhalt:
A. A und B X._ sind Eigentümer der Liegenschaft Y._ GB Nr. 660 im Halte von über 20 Aren. Darauf befinden sich ein Haupt- und ein Nebengebäude (Nr. 12 und Nr. 12A). In den Jahren 2001 bis 2003 liessen sie das Hauptgebäude bis auf die nordseitige Mauer sowie teilweise die Flanke Ost und West bis auf die Höhe des Eingangsportals abbrechen und ein sogenanntes Minergiehaus erstellen. Das Nebengebäude war vor dem Umbau eine Garage mit Schopf von 45 m2 und nachher eine Wohnung mit Garage von 3,75 Raumeinheiten. Für diese Bauarbeiten erwuchsen A und B X._ Kosten im Jahr 2001 von Fr. 181'349.75, im Jahr 2002 von Fr. 219'055.-- und im Jahr 2003 von Fr. 263'783.--.
B. Für die Steuerperioden 2001-2003 machten A und B X._ die erwähnten Auslagen als Liegenschaftsunterhaltskosten geltend. In der Steuerperiode 2001 anerkannte die Steuerbehörde auf Einsprache hin keine, in der Steuerperiode 2002 nur Fr. 768.-- bei der Staatssteuer und Fr. 960.-- bei der direkten Bundessteuer und in der Steuerperiode 2003 wiederum überhaupt keine Liegenschaftsunterhaltskosten als abzugsberechtigt. Einen Rekurs und eine Beschwerde hiergegen wies das Steuergericht des Kantons Solothurn am 23. November 2009 ab, weil ein Abzug für Energiesparmassnahmen nur an bestehenden Gebäuden, nicht aber bei der Erstellung von Neubauten möglich sei.
C. Mit Eingabe vom 10. Januar 2010 erheben A und B X._ gegen das Urteil des Steuergerichts des Kantons Solothurn vom 23. November 2009 (versandt am 18. Dezember 2009) Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit dem Antrag, das angefochtene Urteil bezüglich der Verweigerung des Abzugs von Liegenschaftsunterhaltskosten aufzuheben und die für die Steuerjahre 2001, 2002 und 2003 geltend gemachten Liegenschaftsunterhaltskosten bei der direkten Bundessteuer und der Staats- und Gemeindesteuer zum Abzug zuzulassen; eventuell sei die Sache zum Neuentscheid an die Vorinstanz zurückzuweisen. Sie rügen eine unrichtige Sachverhaltsfeststellung sowie eine Verletzung von Bundesrecht.
D. Das Steueramt und das Steuergericht des Kantons Solothurn sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten ist.

Erwägungen:
1. 1.1 Angefochten ist der Entscheid des Steuergerichts des Kantons Solothurn in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde an das Bundesgericht weitergezogen werden kann (<ref-law> in Verbindung mit <ref-law> [SR 642.11] sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14]). Die Beschwerdeführer sind gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel ist grundsätzlich einzutreten.
1.2 Mit der Beschwerde kann namentlich eine Rechtsverletzung nach <ref-law> geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
1.3 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird (<ref-ruling> E. 2.1 S. 245 f.). Das Bundesgericht prüft namentlich die Verletzung von Grundrechten nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
Eine den Anforderungen von Art. 42 Abs. 2 bzw. <ref-law> genügende Begründung ist hier nur teilweise zu erkennen, wird doch die Rüge einer willkürlichen Sachverhaltsfeststellung nicht hinreichend und jene der Verletzung des Rechtsgleichheitsgebotes überhaupt nicht begründet. Soweit es an einer genügenden Begründung fehlt, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht einzutreten.
I. Direkte Bundessteuer
2. 2.1 Bei Liegenschaften im Privatvermögen können die Unterhaltskosten, die Versicherungsprämien und die Kosten der Verwaltung durch Dritte von den steuerbaren Einkünften abgezogen werden (Art. 32 Abs. 2 erster Satz DBG). Nicht abziehbar sind die übrigen Kosten und Aufwendungen, insbesondere die Aufwendungen für die Anschaffung, Herstellung oder Wertvermehrung von Vermögensgegenständen (<ref-law>). Energiespar- und Umweltschutzmassnahmen werden jedoch den Unterhaltskosten gleichgestellt, auch soweit es sich dabei um teilweise wertvermehrende Massnahmen handelt (Urteil 2C_666/2008 vom 12. Mai 2009 E. 2.1 mit Hinweis, in: StE 2010 B 25.7 Nr. 5). Nach <ref-law> bestimmt das eidgenössische Finanzdepartement, wieweit solche Investitionen den Unterhaltskosten gleichgestellt sind. Gemäss Art. 5 der Verordnung des Bundesrates vom 24. August 1992 über den Abzug der Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer (SR 642.116) gelten als Investitionen, die dem Energiesparen und dem Umweltschutz dienen, Aufwendungen für Massnahmen, welche zur rationellen Energieverwendung oder zur Nutzung erneuerbarer Energien beitragen. Diese Massnahmen beziehen sich auf den Ersatz von veralteten und die erstmalige Anbringung von neuen Bauteilen oder Installationen in bestehenden Gebäuden. Ein Abzug für energiesparende Massnahmen ist mithin nur für Massnahmen an vorhandenen Bauten, nicht aber bei der Erstellung von Neubauten möglich (Peter Agner/Angelo Digeronimo/Hans Jürg Neuhaus/Gotthard Steinmann, Kommentar zum Gesetz über die direkte Bundessteuer, Ergänzungsband, 2000, N. 7a zu <ref-law>; Peter Locher, Kommentar zum DBG, I. Teil, 2001, Rz. 37 zu <ref-law>; Nicolas Merlino, Commentaire Romand, 2008, N. 77 ad art. 32 LIFD; Felix Richner/Walter Frei/ Stefan Kaufmann/Hans Ulrich Meuter, Handkommentar zum DBG, 2. Aufl. 2009, N. 125 zu <ref-law>; Bernhard Zwahlen, Kommentar zum Schweizerischen Steuerrecht [I/2a/b], Bundesgesetz über die direkte Bundessteuer [DBG], 2. Aufl. 2008, N. 10 zu <ref-law>). Denn bei Neubauten können die Auslagen nie Quasiunterhaltskosten (vgl. Urteil 2A.223/1997 vom 11. Juni 1999 E. 3g, in: ASA 70 S. 155 ff., 161 f.) bilden, sondern stellen nach <ref-law> nicht absetzbare Herstellungskosten dar. Dasselbe gilt bei baulichen Massnahmen im Anschluss an einen weitgehenden Gebäudeabbruch, welche "praktisch" zu einem Neubau führen (Urteil 2P.25/1998 vom 24. Februar 1999 E. 4b, in: RDAT 1999 II S. 371 ff., 372 [noch zum BdBSt]; vgl. auch Urteil 2A.52/1998 vom 30. März 1999 E. 3a, in: NStP 53 [1999], S. 99 ff, 101 f.).
2.2 Ob eine Massnahme energiesparende Wirkung hat, ist eine Frage des Sachverhalts. Hier ist die Energieeffizienz der fraglichen Massnahme unbestritten. Umstritten ist zudem nicht die Sachverhaltsfeststellung als solche, sondern die (rechtliche) Sachverhaltswürdigung, die bereits eine Rechtsfrage bildet. Rechtsfrage ist sodann, ob die Kosten hierfür im Sinne von <ref-law> von den steuerbaren Einkünften abgezogen werden können. Dies prüft das Bundesgericht im Recht der direkten Bundessteuer frei (Urteil 2C_666/2008 vom 12. Mai 2009 E. 2.2, in: StE 2010 B 25.7 Nr. 5).
2.3 Mit der Nichtberücksichtigung der geltend gemachten Liegenschaftsunterhaltskosten "übt" sich die Vorinstanz nach Auffassung der Beschwerdeführer "in Willkür und falscher Würdigung der Beweismittel". Nach ihrer Auffassung liege hier eine blosse "Sanierung" bzw. ein "Ersatzneubau" und kein "Neubau" vor. Dabei legen sie besonderes Gewicht auf die Feststellung, die Bauten seien schon vorher "exakt am gleichen Ort" vorhanden gewesen. Allerdings anerkennen sie, dass sie auch die Gebäudehülle ersetzt haben, weil diese energetisch die zentrale Rolle spiele. Durch die "Sanierung" mit Ersatz der Wände sowie der Bodenplatte mit hochdämmenden Aussenplatten werde eine doppelt so hohe energetische Effizienz gegenüber der Variante erreicht, wo die Isolation nur auf veraltetes Mauerwerk aufgebracht werde. Damit räumen die Beschwerdeführer selbst ein, dass die vorgenommene "Totalsanierung" praktisch einem Neubau gleichkomme. Aus steuerlicher Sicht geht es hier daher um "Herstellung" und nicht mehr um blosse "Wertvermehrung", weshalb die fraglichen Auslagen für Haupt- und Nebengebäude steuerlich nicht absetzbar sind (LOCHER, a.a.O., Rz. 38 zu <ref-law>).
Die Kritik der Beschwerdeführer, eine unter dem Gesichtswinkel der Energieeffizienz weniger befriedigende Lösung wäre steuerlich absetzbar, eine energetische Maximallösung dagegen nicht, ist an sich verständlich. Das Problem liegt darin, dass sich das Einkommenssteuerrecht schlecht für ausserfiskalische Zielsetzungen eignet (vgl. Locher, a.a.O., Rz. 39 zu <ref-law>). Denn wenn kraft ausdrücklicher Regelung Auslagen für wertvermehrende Energiesparmassnahmen ausnahmsweise steuerlich absetzbar sind, ergeben sich zwangsläufig Abgrenzungs- bzw. Rechtsgleichheitsprobleme. Im Auge zu behalten sind aber nicht nur steuerpflichtige Personen, welche mehr oder weniger effiziente Energiesparmassnahmen an vorbestandenen Gebäuden vornehmen, sondern auch solche, die ein vollkommen energieeffizientes Haus von Grund auf neu errichten und klarerweise keinen Steuerabzug vornehmen können. So oder so hat das Bundesgericht die - problematische - gesetzliche Regelung anzuwenden (<ref-law>).
2.4 Nach dem Gesagten erweist sich die Beschwerde in öffentlichrechtlichen Angelegenheiten betreffend die direkte Bundessteuer als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
II. Staats- und Gemeindesteuern
3. 3.1 Die Rechtslage ist bei den Staats- und Gemeindesteuern die gleiche wie bei der direkten Bundessteuer. Gemäss Art. 9 Abs. 1 StHG können von den gesamten steuerbaren Einkünften die zu ihrer Erzielung notwendigen Aufwendungen abgerechnet werden. § 39 Abs. 3 des Gesetzes über die Staats- und Gemeindesteuern des Kantons Solothurn (StG SO; BSG 614.11) und § 41 Abs. 4 lit. e StG SO entsprechen Art. 32 Abs. 2 bzw. <ref-law>. Ebenso sind nach § 39 Abs. 3 Satz 1 StG SO Energiesparmassnahmen nur an "bestehenden Bauten" abzugsberechtigt, was § 6 Abs. 1 der Verordnung vom 28. Januar 1986 betreffend Unterhalts-, Betriebs- und Verwaltungskosten von Liegenschaften im Privatvermögen (BSG 614.159.16) noch verdeutlicht. Das bereits zum DBG Ausgeführte ist damit ebenfalls für die kantonalen Steuern massgebend (Urteil 2C_666/2008 vom 12. Mai 2009 E. 3, in: StE 2010 B 25.7 Nr. 5). Damit resultiert für die Staats- und Gemeindesteuern dasselbe Ergebnis wie bei der direkten Bundessteuer.
3.2 Dem Gesagten zufolge erweist sich die Beschwerde betreffend die Staats- und Gemeindesteuern als unbegründet, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten auch in diesem Punkt abzuweisen ist, soweit darauf eingetreten werden kann.
4. Bei diesem Ausgang des Verfahrens sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Steuergericht des Kantons Solothurn sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 6. Juli 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass