Sachverhalt: A. X._ machte in der Steuererklärung für das Jahr 2004 unter anderem Abzüge für Berufskosten im Betrag von Fr. 51'167.-- geltend. Die Veranlagungsbehörde akzeptierte in der Veranlagung für die Staats- und Bundessteuern lediglich Fr. 13'461.-- und führte dazu aus, der Restbetrag sei nicht als Weiterbildungskosten abziehbar. Am 30. März 2010 wies die Veranlagungsbehörde Olten-Gösgen eine dagegen erhobene Einsprache ab. B. Dagegen führte X._ beim Steuergericht des Kantons Solothurn Rekurs und Beschwerde. Mit Urteil vom 8. November 2010 hiess das Steuergericht den Rekurs und die Beschwerde gut und liess die im Steuerjahr 2004 für den Titel "LL.M." aufgewendeten Fr. 37'706.-- als Weiterbildungskosten zum Abzug zu. Zur Begründung wurde im Wesentlichen ausgeführt, der Studiengang zum Titelerwerb habe vorwiegend der Vertiefung der Fachkenntnisse im Bereich gedient, in dem der Steuerpflichtige bereits berufstätig gewesen sei. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 11. Januar 2011 an das Bundesgericht beantragt das Steueramt des Kantons Solothurn, das Urteil des Steuergerichts aufzuheben und das steuerbare Einkommen gemäss dem Einspracheentscheid für die Staatssteuer auf Fr. 34'960.-- und für die Bundessteuer auf Fr. 34'900.-- festzusetzen. Im Wesentlichen wird dazu ausgeführt, der fragliche Studiengang habe dem Steuerpflichtigen sehr wohl zum Erwerb neuer Kenntnisse verholfen und zu seiner beruflichen Neuausrichtung geführt; die entsprechenden Feststellungen des Steuergerichts seien unvollständig und dessen rechtliche Beurteilung unzutreffend. D. X._ stellt den Antrag, auf die Beschwerde nicht einzutreten, sie eventuell abzuweisen. Die Eidgenössische Steuerverwaltung schliesst auf Gutheissung der Beschwerde.