Sachverhalt:
A. X._ ist im Kanton Solothurn steuerpflichtig. Seit dem Jahr 2002 ist er Eigentümer einer im Kanton Bern gelegenen, rund vierhundertjährigen Alphütte. Für gegen Fr. 500'000.-- beschloss er eine Totalsanierung der sich allgemein in einem schlechten Zustand befindlichen Liegenschaft. Im Jahr 2010 unternahm er eine erste Arbeitsetappe, wofür ihm Kosten von Fr. 106'973.-- erwuchsen.
B. In seiner Steuererklärung für 2010 machte X._ die erwähnten Auslagen als Liegenschaftsunterhaltskosten geltend. Sowohl bei der Staats- als auch bei der direkten Bundessteuer verweigerten jedoch alle steuerbehördlichen Instanzen des Kantons Solothurn den beantragten Abzug vom steuerbaren Einkommen, zuletzt das Kantonale Steuergericht mit Urteil vom 21. Mai 2012. Alle Instanzen erwogen, dass es sich bei der Totalsanierung praktisch um die Errichtung einer neuen Baute handle, weshalb die massgeblichen Kosten Anlagecharakter hätten.
C. Am 4. Juli 2012 hat X._ Beschwerden in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. In Bezug auf die Staatssteuer (Verfahren 2C_666/2012) und die direkte Bundessteuer (2C_667/2012) 2010 stellt er den Antrag, das angefochtene Urteil vom 21. Mai 2012 aufzuheben, die Sache zur Neubeurteilung an das Steuergericht zurückzuweisen und die geltend gemachten Liegenschaftsunterhaltskosten zum Abzug von seinem steuerbaren Einkommen zuzulassen.
D. Das Steueramt des Kantons Solothurn, das Kantonale Steuergericht Solothurn und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde(n), soweit darauf einzutreten sei.
E. Mit Replik vom 9. November 2012 hat der Beschwerdeführer an seinem Rechtsstandpunkt festgehalten.

Erwägungen:
I. Prozessuales
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen dasselbe Urteil und werfen übereinstimmende Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Angefochten ist ein Urteil des Kantonalen Steuergerichts Solothurn in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde an das Bundesgericht weitergezogen werden kann (<ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR. 642.14]). Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf seine frist- und formgerecht eingereichten Rechtsmittel ist grundsätzlich einzutreten.
1.3 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Das Bundesgericht prüft namentlich die Verletzung von Grundrechten nur insofern, ais eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Eine diesen Anforderungen genügende Begründung ist hier nur teilweise zu erkennen, wird doch die Rüge von Verfassungsverletzungen (Art. 8, 9, 26 und 127 BV) nicht hinreichend substantiiert. Soweit es an einer genügenden Begründung fehlt, ist auf die Beschwerden nicht einzutreten.
1.4 Mit seiner Replik hat der Beschwerdeführer Unterlagen eingereicht, welche mit einer Ausnahme unzulässige neue Beweismittel darstellen (vgl. <ref-law>). Diese Unterlagen hätten schon viel früher eingebracht werden können und sind nicht erst durch das Urteil der Vorinstanz veranlasst worden. Folglich sind sie aus dem Recht zu weisen.
1.5 Mit der Beschwerde kann namentlich eine Rechtsverletzung nach <ref-law> geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
II. Direkte Bundessteuer
2. 2.1 Bei Liegenschaften im Privatvermögen können die Unterhaltskosten, die Kosten der Instandstellung von neu erworbenen Liegenschaften, die Versicherungsprämien und die Kosten der Verwaltung durch Dritte von den steuerbaren Einkünften abgezogen werden (Art. 32 Abs. 2 erster Satz DBG in der ab 1. Januar 2010 gültigen Fassung). Gleich lautet Art. 1 Abs. 1 der bundesrätlichen Verordnung vom 24. August 1992 über den Abzug der Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer (Liegenschaftskostenverordnung; SR 642.116, in der ab 1. Januar 2010 gültigen Fassung). Konkreter bestimmt Art. 1 Abs. 1 lit. a der Verordnung der ESTV vom 24. August 1992 über die abziehbaren Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer (ESTV-Liegenschaftskostenverordnung; SR 642.116.2) den Begriff der Unterhaltskosten als "Auslagen für Reparaturen und Renovationen, die nicht wertvermehrende Aufwendungen darstellen". Nicht abziehbar sind gemäss <ref-law> die übrigen Kosten und Aufwendungen, insbesondere die Aufwendungen für die Anschaffung, Herstellung oder Wertvermehrung von Vermögensgegenständen. In diesem Sinne hat das Bundesgericht festgehalten, dass eine Totalsanierung, die praktisch einem Neubau gleichkommt, aus steuerlicher Sicht eine Herstellung darstellt, weshalb die damit verbundenen Kosten einkommenssteuerlich nicht absetzbar sind (Urteil 2C_63/2010 vom 6. Juli 2010 E. 2.1 StR 65, 864 S. 865, mit Hinweisen; vgl. auch Urteil 2A.480/2004 vom 2. Februar 2005 E. 2.3 ASA 75, 488 S. 492 f.). Dieser Praxis folgt auch die Lehre (vgl. u.a. PETER LOCHER, Kommentar zum DBG; I. Teil, Therwil/Basel 2001, Rz. 49 zu <ref-law>; NICOLAS MERLINO, Commentaire Romand, Bâle 2008, N 75 in fine ad art. 32 LIFD; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2. Aufl. Zürich 2009, N 49 ff. zu <ref-law>).
2.2 Wie die Vorinstanz erwogen hat, ist den Umbauplänen und den beigelegten Fotos (insbesondere zum Zustand vor Inangriffnahme der Arbeiten) zu entnehmen, dass im Untergeschoss (auf welches sich die meisten der durch den Beschwerdeführer für die Steuerperiode 2010 eingereichten Rechnungen beziehen) ein komplett neuer Stall errichtet und das Erdgeschoss (Wohnteil) der Alphütte vollumfänglich abgebrochen sowie ersetzt wurden; teilweise beibehalten wurden das Dachgeschoss und das eigentliche Dach. Diese tatsächlichen Feststellungen des Steuergerichts beanstandet der Beschwerdeführer nicht, weshalb sie für das Bundesgericht verbindlich sind (vgl. oben E. 1.5). Er bemängelt lediglich, es sei "befremdlich", den neu errichteten Stall als Neubau zu qualifizieren. Wie die Vorinstanz jedoch zu Recht ausgeführt hat, handelt es sich "faktisch" um einen komplett neuen Stall (vgl. E. 4 des angefochtenen Urteils, zweiter Absatz). Deshalb ist die steuergerichtliche Schlussfolgerung, die Kosten für die Ersatzbaute seien keine abzugsfähigen Unterhaltskosten, sondern wertvermehrende Auslagen (nämlich Herstellungskosten), bundesrechtskonform. Daran vermag nichts zu ändern, dass die Zweckbestimmung der Baute gleich geblieben ist. Die Vorinstanz nimmt im Übrigen richtigerweise zur Frage, wie die künftigen Auslagen für den Wohnteil sowie das Dachgeschoss dereinst steuerlich zu beurteilen sind, noch nicht Stellung.
2.3 Was der Beschwerdeführer dagegen einwendet, vermag nicht zu überzeugen.
2.3.1 Er geht zunächst davon aus, die Beweislast für die Nichtzulassung der Abzugsfähigkeit dieser Auslagen liege bei der Steuerbehörde. Hier ist jedoch der Nachweis für das faktische Vorliegen eines neuen Stalls erbracht worden (vgl. oben E. 2.2). Deshalb stellt sich die Frage der Beweislast bzw. -losigkeit gar nicht.
2.3.2 Weiter hält der Beschwerdeführer dafür, vorliegend könne gar keine Wertvermehrung vorliegen, weil der Ertragswert gleich geblieben sei. Mit dem neuen jährlichen Pachtzins von Fr. 3'000.-- könne die "Investition" von Fr. 106'973.-- "kaum rentabilisiert werden". Nach anerkannter Bewertungspraxis entspreche der Wert eines Vermögensbestandteiles der Gesamtheit der Nutzleistungen, die dieser erbringen könne. Dazu komme, dass die Vorinstanz auf diese Überlegungen überhaupt nicht eingetreten sei und sie in ihrer Entscheidfindung nicht berücksichtigt habe, was eine Gehörsverletzung darstelle.
Wie das Steuergericht richtig geurteilt hat, weist jedoch auch ein rein landwirtschaftlich genutztes Grundstück einen Marktwert auf, der in der Regel aus Sachwert und Ertragswert ermittelt wird (Das Schweizerische Schätzerhandbuch, 4. Aufl. Aarau 2012, S. 294). Das gilt, obwohl das Bundesrecht eine Bewertung zum Ertragswert vorschreibt (Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht, Art. 10 [BGBB; SR 211.412.11]; vgl. auch Art. 14 Abs. 2 StHG). Entscheidend ist jedoch, dass bei Auslagen für Massnahmen an Liegenschaften im Normalfall (und so auch hier) nicht zu fragen ist, ob dadurch der Wert der Liegenschaft insgesamt erhöht wird. Vielmehr ist jede einzelne Ausgabe isoliert auf ihre werterhöhende oder -erhaltende Wirkung zu untersuchen (vgl. u.a. LOCHER, a.a.O., Rz 18 und 25 zu <ref-law>; MERLINO, a.a.O., N 55 in fine ad art. 32 LIFD; RICHNER/FREI/KAUFMANN/MEUTER, a.a.O., N 45 ff. zu <ref-law>). Vor diesem Hintergrund hat die Vorinstanz zudem davon absehen dürfen, auf die weither geholten Überlegungen des Beschwerdeführers näher einzugehen, so dass von einer Verletzung des rechtlichen Gehörs ebenfalls keine Rede sein kann.
2.3.3 Ausserdem betont der Beschwerdeführer, weil sich die Alpliegenschaft in einer geschützten Moorlandschaft befinde, wäre aus gesetzlichen Gründen ein Abbruch oder Neubau gar nicht möglich gewesen. Den beiliegenden Fotos ist aber zu entnehmen, dass das Dachgeschoss und das Dach auf Holzpfählen aufgestockt, alle darunter liegenden Teile (d.h. der Stall und der Wohntrakt) aber abgerissen und ersetzt wurden. Somit lag jedenfalls ein Teilabbruch und -neubau vor. Neben dem Stall wurde übrigens neu ein landwirtschaftlicher Einstellraum errichtet, was sogar eine Kapazitätserweiterung darstellt.
2.3.4 Schliesslich beruft sich der Beschwerdeführer darauf, dass die Auslagen für die vorgeschlagenen Massnahmen von den Agroexperten als abzugsberechtigt bezeichnet worden sind. Eine solche Stellungnahme vermag die Steuerbehörden jedoch nicht zu binden.
2.4 Nach dem Gesagten erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
III. Kantons- und Gemeindesteuern
3. Die Rechtslage ist bei den Kantons- und Gemeindesteuern die gleiche wie bei der direkten Bundessteuer. Art. 9 Abs. 3 Satz 1 StHG (in der ab 1. Januar 2010 gültigen Fassung) hat denselben Wortlaut wie <ref-law>. § 39 Abs. 3 des Gesetzes über die Staats- und Gemeindesteuern des Kantons Solothurn (StG/SO; BSG 614.11) und § 41 Abs. 4 lit. e StG/SO entsprechen Art. 32 Abs. 2 bzw. <ref-law>. Das zur direkten Bundessteuer Ausgeführte ist damit für die Staatssteuer ebenfalls massgebend. Die diesbezügliche Beschwerde ist folglich auch abzuweisen, soweit darauf eingetreten werden kann.
IV. Kosten
4. Bei diesem Ausgang des Verfahrens sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_666/2012 und 2C_667/2012 werden vereinigt.
2. Die Beschwerde betreffend die direkte Bundessteuer (2C_667/2012) wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde betreffend die Staats- und Gemeindesteuer (2C_666/2012) wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Steuergericht des Kantons Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 18. Dezember 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Matter