Sachverhalt:
A. X._ und Y._ sind Eigentümer einer Liegenschaft in R._ SO. Auf dem als Bauland erworbenen Grundstück erstellten sie ein Einfamilienhaus, das sie im Oktober 2002 bezogen. Bis Ende 2002 liessen sie durch eine erste Bauunternehmung einen Garten anlegen, in dem eine zweite Firma bereits im Jahr 2004 umfangreiche Sanierungsmassnahmen (im Wesentlichen am Rasen und an den Pflanzen) vornehmen musste. Die damit verbundenen Aufwendungen von Fr. 12'821.-- machten die Eheleute X._ und Y._ bei der Staats- und Bundessteuer 2004 als Unterhaltskosten zum Abzug geltend. Das wurde ihnen vom Kantonalen Steueramt Solothurn mit Veranlagungsverfügung und Einspracheentscheid verweigert; gewährt wurde nur der Pauschalabzug. Dagegen gelangten die Pflichtigen mit Rekurs und Beschwerde an das kantonale Steuergericht, das ihre Rechtsmittel guthiess, weil es die massgeblichen Sanierungsarbeiten nicht als wertvermehrend beurteilte.
B. Am 21. Januar 2008 hat das Kantonale Steueramt Solothurn Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Es beantragt im Wesentlichen, das Urteil des kantonalen Steuergerichts aufzuheben.
Die Beschwerdegegner und das Steuergericht stellen Antrag auf Abweisung der Beschwerde, während sich die Eidgenössische Steuerverwaltung den Anträgen des Beschwerdeführers anschliesst.

Erwägungen:
I. Prozessuales
1. 1.1 Gegen den Entscheid des Kantonalen Steuergerichts Solothurn ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht sowohl hinsichtlich der kantonalen Steuern als auch der Bundessteuern zulässig (Art. 82 ff. des Bundesgesetzes über das Bundesgericht [Bundesgerichtsgesetz, BGG, SR 173.110]; Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11] sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Die Beschwerde ist unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) von einer gemäss <ref-law> bzw. Art 73 Abs. 2 StHG in Verbindung mit <ref-law> legitimierten Behörde eingereicht worden. Auf die Beschwerde ist einzutreten.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling>, E. 1.4 S. 140). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, soweit er nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG).
II. Direkte Bundessteuer
2. 2.1 Bei Liegenschaften im Privatvermögen können die Unterhaltskosten, die Versicherungsprämien und die Kosten der Verwaltung durch Dritte von den steuerbaren Einkünften abgezogen werden (Art. 32 Abs. 2 erster Satz DBG). Nicht abziehbar sind die übrigen Kosten und Aufwendungen, insbesondere die Aufwendungen für die Anschaffung, Herstellung oder Wertvermehrung von Vermögensgegenständen (<ref-law>). Als Unterhaltskosten können insbesondere die Auslagen für Reparaturen und Renovationen, die nicht wertvermehrende Aufwendungen darstellen, abgezogen werden (Art. 1 Abs. 1 lit. a Ziff. 1 der Verordnung der Eidgenössischen Steuerverwaltung vom 24. August 1992 über die abziehbaren Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer [SR 642.116.2]).
2.2 Bei Unterhaltskosten für neu erworbene Liegenschaften ist gemäss der mit <ref-ruling> eingeleiteten und in <ref-ruling> präzisierten so genannten Dumont-Praxis zu unterscheiden: Handelt es sich um eine vom bisherigen Eigentümer vernachlässigte Liegenschaft, so sind die Kosten, die der Erwerber zur Instandstellung in den ersten fünf Jahren aufwenden muss, steuerlich grundsätzlich nicht abziehbar (vgl. Art. 1 Abs. 1 zweiter Satz der bundesrätlichen Verordnung vom 24. August 1992 über den Abzug der Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer; SR 642.116). Handelt es sich dagegen um eine nicht vernachlässigte Liegenschaft, kann der neue Eigentümer die "anschaffungsnahen" Kosten steuerlich abziehen, soweit sie für den normalen, periodischen Unterhalt (und nicht zum Nachholen unterbliebenen Unterhalts) aufgewendet werden. Davon zu unterscheiden ist der Fall, wo der neue Vermieter oder Verpächter die Liegenschaft renoviert, um den Miet- oder Pachtertrag zu steigern, oder wo eine (auch selbstgenutzte) Liegenschaft ganz oder teilweise umgebaut oder einer neuen Nutzung zugeführt wird. Hier dienen die Ausgaben nicht dazu, die Liegenschaft in ihrem bisherigen vertrags- oder nutzungsmässigen Zustand zu erhalten, sondern zielen darauf ab, die Einkommensquelle zu verbessern. Mit der Dumont-Praxis soll bewirkt werden, dass der Steuerpflichtige, der eine im Unterhalt vernachlässigte Liegenschaft kauft, um sie zu renovieren, steuerlich nicht besser gestellt sein soll als derjenige Steuerpflichtige, der ein bereits renoviertes Grundstück erwirbt (vgl. zum Ganzen <ref-ruling> E. 1c S. 223; ASA 75 488 E. 2.1; 70 155 E. 3d; StE 2004 A 21.13 Nr. 6 E. 2.1; je mit Hinweisen).
2.3 Auf den vorliegend zu beurteilenden Fall ist die Dumont-Praxis nicht anwendbar. Die Beschwerdegegner kauften nicht eine allenfalls mangelhaft unterhaltene oder mit einem verdeckten Mangel behaftete Liegenschaft. Vielmehr erwarben sie Bauland und erstellten darauf ein Haus, wobei sie auch einen Garten anlegen liessen. Die Frage, ob die Gartenanlage ursprünglich intakt und gebrauchsfähig war, muss sich somit auf den Zeitpunkt ihrer Erstellung und nicht auf denjenigen des Grundstückskaufs beziehen.
Das verkennt die Vorinstanz, wenn sie (in E. 3.2 u. 4 ihres Urteils, unter Bezug auf das in ASA 47 206 publizierte Bundesgerichtsurteil) die Auffassung vertritt, wesentlich sei, ob die massgeblichen Aufwendungen getätigt worden seien, um den "ursprünglich erworbenen Vermögenswert" zu erhalten oder wiederherzustellen. Von der gleichen unzutreffenden Sichtweise gehen auch die Beschwerdegegner aus und meinen, die streitigen Kosten hätten einzig dazu gedient, den ursprünglichen Wert der Liegenschaft zu erhalten; demgemäss behaupten sie weiter, die Abzugsfähigkeit der im Jahr 2004 aufgewendeten Kosten wäre nur dann zu verneinen gewesen, wenn die genannten Aufwendungen bereits in einem reduzierten Kaufpreis ihren Niederschlag gefunden hätten.
Wenn es hier aber nicht um eine Beurteilung der Liegenschaft im Zeitpunkt ihres Erwerbs oder um die Veränderung einer beim Kauf schon bestehenden Bausubstanz geht, dann ist ebenfalls unbedeutend, wie lange nach dem Grundstückskauf die Sanierungsmassnahmen stattfanden (vgl. zu dieser Frage insb. FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Kommentar zum harmonisierten Zürcher Steuergesetz, 2. Aufl. Zürich 2006, Rz. 49 zu § 30 StG/ZH) oder ob seit dem Erwerbszeitpunkt eine Wertminderung eintrat.
2.4 Genauso wenig handelt es sich darum, die Aufwendungen des Jahres 2002 zu qualifizieren; so kann insbesondere offen bleiben, ob sie als Kapitalverlust(e) einzustufen sind (vgl. zu dieser Frage allgemein: BERNHARD ZWAHLEN, in: ZWEIFEL/ATHANAS [HRSG.], Kommentar zum schweizerischen Steuerrecht, Band I/2a, Bundesgesetz über die direkte Bundessteuer, 2. Aufl., Basel 2008, Rz. 13 u. 17 zu <ref-law>; <ref-ruling> E. 3b S. 200 f.). Streitig sind hier nur die Kosten von 2004, und auch sie sind nur unter einem bestimmten Gesichtswinkel zu prüfen. Wesentlich und spezifisch ist hier das Verhältnis zwischen dem Tätigwerden der beiden Gartenbaufirmen. Diesbezüglich hat die Vorinstanz festgehalten, dass die im Jahr 2004 durchgeführten Arbeiten "im Wesentlichen" die Sanierung der zwei Jahre zuvor angelegten Pflanzenfläche bezweckten (vgl. E. 3.2 des Urteils vom 29. Oktober 2007). Aus dem angefochtenen Urteil geht nicht hervor, ob in der zweiten Phase noch zusätzliche Arbeiten ausgeführt wurden, die über die ursprünglich vorgenommenen hinausgingen. Davon gehen die Veranlagungsbehörde und die EStV aus und argumentieren wie folgt: Es gehe hier um Mehrkosten, die ohnehin angefallen wären, d.h. um Gestehungskosten, da die Kosten für die Erstellung der Gartenanlage im Jahr 2002 um diese Aufwendungen geringer gewesen sein müssten; ein Bauherr, welcher bei der Erstellung der Liegenschaft höhere, nicht abzugsfähige Gestehungskosten in Kauf nehme und so das Risiko nachträglichen Sanierungsbedarfs vermindere, dürfe nicht schlechter gestellt werden als derjenige, welcher sich zu Beginn für geringere Erstellungskosten entscheide und dafür Gefahr laufe, danach Sanierungen vornehmen zu müssen; Kosten, die eigentlich zu den Gestehungskosten gehörten, könnten nicht später als Unterhaltskosten in Abzug gebracht werden.
2.5 Ob im Jahr 2004 solche zusätzlichen Arbeiten durchgeführt wurden, kann mit Blick auf den Verfahrensausgang offen bleiben. Es bleibt aber zu fragen, ob die Gartenarbeiten von 2004 einen zuvor bestehenden Wert erhielten bzw. wiederherstellten oder aber einen neuen Wert schufen.
Die zweite Gartenbaufirma hat festgestellt, dass im Wesentlichen folgende Sanierungsarbeiten unternommen werden mussten: Erneuerung des Rasens, Entfernung von schlechter Erde und Lehm, Einbringung von Humus, Versetzung sowie Ersetzung und Entsorgung von Pflanzen (vgl. ihre Rechnung vom 31. Dezember 2004). Der Sanierungsbedarf war auf einen "schlechten und lehmigen (bei der Bauphase verkarrten) Boden" zurückzuführen. Aus dem Gutachten der zweiten Firma geht nicht (klar) hervor, in welchem Umfang die genannten Mängel schon vor Beginn der ersten Arbeiten existiert hatten oder aber durch die Erstellung des Hauses (oder sogar des Gartens) entstanden waren (d.h. die sog. "Verkarrung" des Bodens; vgl. dazu insb. den in BStP IX S. 13 ff. publizierten Fall, wo es um eine durch die Haus- und Gartenerstellung hervorgerufene Wertminderung ging). Auch diese Frage kann indessen offen bleiben, weil sämtliche Mängel und Schäden (gleich welcher Art oder welchen Ursprungs) durch die erste Gartenbauunternehmung im Jahr 2002 hätten behoben bzw. vermieden werden müssen. Das ist unbestrittenermassen nicht geschehen.
Unter den gegebenen Umständen kann entgegen der Vorinstanz nur der Schluss gezogen werden, dass durch die ursprünglichen Aufwendungen weder im wirtschaftlichen noch im technischen Sinn ein Mehrwert entstanden war und somit durch die Arbeiten des Jahres 2004 nicht erhalten bzw. wiederhergestellt werden konnte. Gegen die Annahme einer ursprünglich intakten und gebrauchsfähigen Gartenanlage spricht nicht nur die Höhe der schon weniger als zwei Jahre nach ihrer Erstellung notwendigen Sanierungskosten, sondern auch die folgende Bemerkung der zweiten Unternehmung: "Die Arbeiten haben dem Bauherrn vermeidbare Kosten verursacht. Nach dieser Sanierung kann von einer intakten Gartenumgebung gesprochen werden." (Brief vom 26. Juni 2005). Das kann nichts anderes heissen, als dass die ursprüngliche, mit dem Bau des Hauses erstellte Gartenanlage nicht intakt, sondern mangelhaft war und den erwarteten Mehrwert nicht erbrachte.
Dasselbe geht aus einem undatierten, von den Beschwerdegegnern an die Veranlagungsbehörde gerichteten Dokument "Vorzeitige Sanierung Umgebung und Autounterstände 2004/2005" hervor, das die verschiedenen zeitlichen Etappen der hier massgeblichen Sanierung festhält. Das Dokument lässt klar werden, dass schon wenige Monate nach Erstellung der Gartenanlage erste Schäden bzw. Mängel sichtbar wurden und sich innert kurzer Zeit noch vermehrten sowie verschlimmerten: "März 2003: erfrorene/nicht angewachsene Hecke, musste auf unsere Kosten ersetzt werden; Sommer 2003: ein Baum aus der Mitte der zweiten Hecke stirbt wiederum ab, diesmal Ersatz durch (die Gartenbaufirma); Frühjahr 2004: Im Garten serbeln der Rasen und die übrigen Pflanzen dahin, sodass wir aufgrund der gemachten Erfahrungen einen anderen Fachmann suchen und beiziehen." Somit bemerkten die Beschwerdegegner in der Gartenumgebung bald Mängel, welche sie als gravierend und umfangreich einstuften; nicht zuletzt aus diesem Grund (und weil die erste Firma sich nur beschränkt bereit erklärte, die ungenügend ausgeführten Arbeiten nachzubessern), entschieden sie, "um unser Bankkonto und unsere Nerven zu schonen", sich für die notwendig gewordene umfassende Sanierung an eine andere Unternehmung zu wenden. M.a.W. verzichteten sie auf Nachbesserungsansprüche gegenüber der ersten Firma nur deshalb, weil sie die notwendigen Sanierungen als sehr umfangreich beurteilten und aufgrund der von ihnen als völlig ungenügend eingeschätzten bisherigen Arbeitsqualität jegliche Hoffnung verloren hatten, auf diesem Weg eine zufriedenstellende Nachbesserung zu erzielen. Das ganze Vorgehen der Beschwerdegegner bestätigt also, dass die ursprünglichen Aufwendungen keinen Mehrwert schufen, sondern erst die Arbeiten des Jahres 2004, welche demgemäss nicht als abzugsfähige Unterhaltskosten qualifiziert werden können.
Daran vermag auch die subjektive Einschätzung der Beschwerdegegner nichts zu ändern. Ihre Vorgehensweise beruhte auf der Auffassung, dass "so mit der Bauherrschaft, nach der pünktlichen Bezahlung aller Verpflichtungen, nicht umgegangen werden" könne. Für sie entsprach es einer "sauberen Lösung", auf die (gerichtliche) Geltendmachung von Nachbesserungsansprüchen gegenüber der ersten Gartenbaufirma zu verzichten und stattdessen die zusätzlichen Aufwendungen für die notwendige Gesamtsanierung durch die zweite Unternehmung bei den Steuern als Unterhaltskosten in Abzug zu bringen. Diese - von einem ausserjuristischen Gesichtspunkt her an sich nachvollziehbare - Meinung lässt ausser Acht, dass die Abzugsfähigkeit im Sinne von <ref-law> sich nicht aus solchen allgemeinen Ausgleichsüberlegungen ergeben kann, sondern an die Erfüllung bestimmter Erfordernisse gebunden ist, die hier nicht gegeben sind.
III. Kantonale Steuern
3. Die massgeblichen Bestimmungen im Steuerharmonisierungsgesetz (vgl. Art. 9 StHG) und im kantonalen Steuerrecht (vgl. insb. § 39 Abs. 3 u. § 41 Abs. 4 lit. e des Solothurner Gesetzes vom 1. Dezember 1985 über die Staats- und Gemeindesteuern) stimmen mit der Regelung im Recht der direkten Bundessteuer überein. Die streitigen Aufwendungen können somit auch bei den Staats- und Gemeindesteuern nicht vom steuerbaren Einkommen abgezogen werden.
IV. Kosten und Entschädigung
4. Sowohl hinsichtlich der Staatssteuer wie auch der direkten Bundessteuer ist die Beschwerde nach dem Gesagten gutzuheissen, der angefochtene Entscheid aufzuheben und der Einspracheentscheid im Ergebnis zu bestätigen (<ref-law>, aufgrund dessen Art. 73 Abs. 3 StHG obsolet ist, vgl. <ref-ruling> E. 1.5.3).
Die Gerichtskosten sind den Beschwerdegegnern aufzuerlegen (Art. 65, 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht geschuldet (<ref-law>). Über die Kosten des vorinstanzlichen Verfahrens wird das Steuergericht in einem Zusatzentscheid zu diesem Entscheid befinden müssen (Art. 67, 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, der angefochtene Entscheid des Steuergerichts des Kantons Solothurn vom 29. Oktober 2007 aufgehoben und der Einspracheentscheid der Veranlagungsbehörde Solothurn vom 17. November 2005 hinsichtlich der Staats- und Bundessteuer 2004 bestätigt.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdegegnern unter solidarischer Haftbarkeit auferlegt.
3. Über die Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens hat das Kantonale Steuergericht Solothurn neu zu entscheiden.
4. Dieses Urteil wird den Parteien, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. Dezember 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Matter