Sachverhalt: A. Der im Kanton Solothurn steuerpflichtige X._ machte in seiner Steuererklärung für die Staats- und Bundessteuer 2007 unter der Rubrik "Krankheits- und Unfallkosten" Fr. 2'500.-- geltend und fügte insoweit handschriftlich bei "Schwerhörigk. Batterien f. Hörgerät, PC für Verständigung". Mit definitiver Veranlagung vom 5. Mai 2008 lehnte die Veranlagungsbehörde Thal-Gäu den Abzug der Fr. 2'500.-- mit folgender Begründung ab: "Behinderungsbedingte Kosten. Arztzeugnis fehlt; daher kein Abzug für Schwerhörigkeit". Hiegegen erhob X._ Einsprache. Dieser fügte er eine ärztliche Bestätigung bei, in der attestiert wurde, dass er schwerhörig sei. Mit Entscheid vom 4. Juni 2008 wies die Veranlagungsbehörde die Einsprache ab. Auch die von X._ anschliessend eingereichten Rechtsmittel wies das Kantonale Steuergericht Solothurn mit Urteil vom 3. November 2008 ab. B. Mit Eingabe vom 6. März 2009 beantragt X._ dem Bundesgericht sinngemäss, das zuletzt erwähnte Urteil des Steuergerichts aufzuheben und den Abzug von behinderungsbedingten Kosten in Höhe von Fr. 2'500.-- anzuerkennen. C. Das Steuergericht und das Steueramt des Kantons Solothurn ersuchen um Abweisung der Beschwerde, soweit auf diese einzutreten sei. Die Eidgenössische Steuerverwaltung stellt den Antrag, die Beschwerde teilweise gutzuheissen, das Urteil des Steuergerichts aufzuheben und die Sache zur Sachverhaltsergänzung sowie zum Neuentscheid an die Vorinstanz zurückzuweisen.