Sachverhalt:
A. X._ machte in der Steuererklärung für das Jahr 2004 unter anderem Abzüge für Berufskosten im Betrag von Fr. 51'167.-- geltend. Die Veranlagungsbehörde akzeptierte in der Veranlagung für die Staats- und Bundessteuern lediglich Fr. 13'461.-- und führte dazu aus, der Restbetrag sei nicht als Weiterbildungskosten abziehbar. Am 30. März 2010 wies die Veranlagungsbehörde Olten-Gösgen eine dagegen erhobene Einsprache ab.
B. Dagegen führte X._ beim Steuergericht des Kantons Solothurn Rekurs und Beschwerde. Mit Urteil vom 8. November 2010 hiess das Steuergericht den Rekurs und die Beschwerde gut und liess die im Steuerjahr 2004 für den Titel "LL.M." aufgewendeten Fr. 37'706.-- als Weiterbildungskosten zum Abzug zu. Zur Begründung wurde im Wesentlichen ausgeführt, der Studiengang zum Titelerwerb habe vorwiegend der Vertiefung der Fachkenntnisse im Bereich gedient, in dem der Steuerpflichtige bereits berufstätig gewesen sei.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 11. Januar 2011 an das Bundesgericht beantragt das Steueramt des Kantons Solothurn, das Urteil des Steuergerichts aufzuheben und das steuerbare Einkommen gemäss dem Einspracheentscheid für die Staatssteuer auf Fr. 34'960.-- und für die Bundessteuer auf Fr. 34'900.-- festzusetzen. Im Wesentlichen wird dazu ausgeführt, der fragliche Studiengang habe dem Steuerpflichtigen sehr wohl zum Erwerb neuer Kenntnisse verholfen und zu seiner beruflichen Neuausrichtung geführt; die entsprechenden Feststellungen des Steuergerichts seien unvollständig und dessen rechtliche Beurteilung unzutreffend.
D. X._ stellt den Antrag, auf die Beschwerde nicht einzutreten, sie eventuell abzuweisen. Die Eidgenössische Steuerverwaltung schliesst auf Gutheissung der Beschwerde.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich gegen den Endentscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Eine Ausnahme gemäss <ref-law> liegt nicht vor. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich damit sowohl hinsichtlich der Staats- als auch der Bundessteuer als zulässig (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht werden (vgl. <ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (vgl. Art. 97 Abs. 1 und <ref-law>).
2. 2.1 Im Rahmen der direkten Bundessteuer erhebt der Bund gemäss Art. 1 lit. a des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) eine Einkommenssteuer von den natürlichen Personen. Zu diesem Zweck wird das Reineinkommen ermittelt, indem von den gesamten steuerbaren Einkünften die Aufwendungen und die allgemeinen Abzüge nach Art. 26-33 DBG abgezogen werden (<ref-law>). Nach <ref-law> werden insbesondere "die mit dem Beruf zusammenhängenden Weiterbildungs- und Umschulungskosten" zum Abzug zugelassen. Damit soll nach dem Willen des Gesetzgebers das gleiche Kriterium angewendet werden wie bei den Gewinnungskosten Selbständigerwerbender, die nach <ref-law> die "geschäfts- oder berufsmässig begründeten Kosten" abziehen können. Nach der Rechtsprechung sind alle Kosten der Weiterbildung abzugsfähig, die objektiv mit dem gegenwärtigen Beruf des Steuerpflichtigen im Zusammenhang stehen und die der Steuerpflichtige zur Erhaltung seiner beruflichen Chancen für angezeigt hält, auch wenn sich die Ausgabe als nicht absolut unerlässlich erweist, um die gegenwärtige berufliche Stellung nicht einzubüssen (<ref-ruling> E. 3a-d S. 32 ff.; <ref-ruling> E. 2c-e S. 118 f., je mit Hinweisen; Urteile 2C_750/2009 vom 26. Mai 2010, E. 2, in StR 65/2010 S. 675; 2C_589/2007 vom 9. April 2008, E. 3.1, in StE 2008 B 22.3 Nr. 96; 2A.623/2004 vom 6. Juli 2005, in StE 2006 B 22.3 Nr. 86, und 2A.277/2003 vom 18. Dezember 2003, E. 2.1, in StR 59/2004 S. 451).
2.2 Als "mit dem Beruf zusammenhängende Weiterbildungskosten" sind indessen nur solche Kosten abziehbar, die im Rahmen des bereits erlernten und ausgeübten Berufs anfallen, nicht dagegen die "Ausbildungskosten" im Sinne von <ref-law> für die erstmalige Aufnahme einer Berufstätigkeit bzw. für einen neuen (oder zusätzlichen) Beruf. Zur Anerkennung als abzugsfähige Weiterbildungskosten ist es aber nicht notwendig, dass der Steuerpflichtige das Erwerbseinkommen ohne die streitige Auslage überhaupt nicht hätte erzielen können; vielmehr ist lediglich darauf abzustellen, ob die Aufwendungen für die Erzielung des Einkommens nützlich sind und nach der Verkehrsauffassung im Rahmen des Üblichen liegen. Dazu gehören nicht nur Anstrengungen, um den Stand bereits erworbener Fähigkeiten zu erhalten, sondern vor allem auch der Erwerb verbesserter Kenntnisse für die Ausübung des gleichen Berufs. Abzugsfähig sind insbesondere Fortbildungskosten zur Sicherung der bisherigen Stelle ohne im Wesentlichen zusätzliche Berufschancen. Hingegen sind Auslagen für eine Fortbildung, die zum Aufstieg in eine eindeutig vom bisherigen Beruf zu unterscheidende höhere Berufsstellung (sog. Berufsaufstiegskosten) oder gar zum Umstieg in einen anderen Beruf dient, keine Weiterbildungskosten im Sinne von <ref-law>. Sie werden nicht für eine Weiterbildung im Rahmen des bereits erlernten und ausgeübten Berufs erbracht, sondern letztlich für eine neue Ausbildung. Auslagen, die anfallen, um die notwendigen Fähigkeiten und Kenntnisse zur Ausübung eines eigentlichen Berufs zu erlernen (z.B. Lehre, Handelsschule, Matura, Studium, Nachdiplomstudien usw.), sind demnach als Ausbildungskosten auch dann nicht abziehbar, wenn die Fortbildung berufsbegleitend absolviert wird, im Ergebnis aber dem Aufstieg in eine vom bisherigen Beruf eindeutig unterscheidbare höhere Berufsstellung dient (<ref-ruling> E. 3a S. 32 und E. 3d S. 34; <ref-ruling> E. 2 und 3; Urteile 2C_750/2009 vom 26. Mai 2010, E. 2, in StR 65/2010 S. 675; 2C_589/2007 vom 9. April 2008, E. 3.2, in StE 2008 B 22.3 Nr. 96; 2A.671/2004 vom 6. Juli 2005; 2A.623/2004 vom 6. Juli 2005, in StE 2006 B 22.3 Nr. 86, und 2A.277/2003 vom 18. Dezember 2003, E. 2.1, in StR 59/2004 S. 451). Um Berufsaufstiegskosten handelt es sich auch dann, wenn die absolvierte Ausbildung zu wesentlichen Zusatzkenntnissen mit eigenem Wert führt und die Berufsaussichten deutlich verbessert, im Gegensatz zu einer blossen Aktualisierung und Vertiefung vorhandener Kenntnisse (vgl. dazu u.a. StE 2010 B 27.6 Nr. 16 E. 2.3.2; StE 2006 B 22.3 Nr. 85 E. 2.4.4; StR 61/2006 S. 41 E. 3.1.2).
2.3 An dieser Rechtslage ändert vorläufig nichts, dass es politische Bestrebungen gibt, die steuerrechtlichen Abzugsmöglichkeiten für Zusatzausbildungen zu vergrössern. Erstens ist noch offen, wie die entsprechenden Gesetzgebungsprojekte ausgehen werden, und zweitens kann das für das hier massgebliche Steuerjahr 2004 ohnehin noch keine Rolle spielen.
3. 3.1 Das beschwerdeführende Steueramt macht geltend, es fehle der Nachweis, dass das Nachdiplomstudium des Steuerpflichtigen zur Aktualisierung und Vertiefung des für die berufliche Tätigkeit erforderlichen Fachwissens unabdingbar gewesen sei. Darin liege eine offensichtlich unrichtige Feststellung des Sachverhalts. Wie das Steueramt zu Recht geltend macht, kann den beiden Bestätigungen des früheren und des nachfolgenden Arbeitgebers des Steuerpflichtigen nicht entnommen werden, inwiefern dieser durch das absolvierte Nachdiplomstudium sein Fachwissen hat vertiefen können, das er im Rahmen seiner Tätigkeit in einer der beiden Anwaltskanzleien zwingend benötigte. Bestätigt werden bloss die vorwiegend wirtschaftsrechtliche Tätigkeit sowie der internationale Bezug der Aufträge mit teilweiser Mandatsführung in englischer Sprache. Grundsätzlich oblag es dem Beschwerdegegner als Steuerpflichtigem, die wesentlichen Umstände, die eine Abzugsberechtigung begründen, zu belegen, soweit deren rechtliche Bedeutung voraussehbar und die Beweiserbringung ihm zumutbar oder möglich war. In diesem Sinne handelt es sich bei der Folgerung des Steuergerichts, der Steuerpflichtige habe seine früher erworbenen Kenntnisse bloss erweitert und vertieft, nicht um eine reine Sachverhaltsfeststellung, sondern bereits um die rechtliche Beurteilung der tatsächlichen Verhältnisse aufgrund der dem Steuergericht vorliegenden Beweislage. Diese kann das Bundesgericht uneingeschränkt überprüfen. Hingegen hat die Vorinstanz den Sachverhalt insofern unvollständig festgestellt, als sie die rechtserheblichen Umstände bezüglich der beruflichen Situation des Beschwerdegegners vor und nach dem LL.M-Studium nicht erwähnt hat. Da diese vom Beschwerdeführer vorgebrachten Tatsachen aktenkundig sind und im Übrigen bereits vor der Vorinstanz vorgebracht wurden und demzufolge entgegen der Auffassung des Beschwerdegegners kein unzulässiges Novum darstellen, kann das Bundesgericht sie selber anhand der Akten ergänzend feststellen (<ref-law>; hinten E. 4.4).
4. 4.1 Entscheidend für die Unterscheidung von Aus- und Weiterbildung sind die konkreten Umstände und der Inhalt der absolvierten Fortbildung. Zwingende abstrakte Kriterien gibt es dafür nicht; es können sich aber aus allgemeinen Zusammenhängen Anhaltspunkte ergeben. Wird etwa eine Fortbildung berufsbegleitend absolviert, spricht dies grundsätzlich eher für eine Weiter- als eine Zusatzausbildung. Das kann sich aber anders verhalten bei Teilzeitarbeit, um sich daneben fortzubilden, oder wenn mit dem Arbeitgeber ein Förderungsprogramm zwecks Berufsaufstiegs vereinbart wurde. Wird demgegenüber für die Fortbildung eine bereits begonnene Berufstätigkeit unterbrochen oder sogar vorher eine Stelle aufgegeben und danach eine neue angenommen, dürfte es sich regelmässig eher um eine Ausbildung handeln. Ausnahmen sind aber auch hier möglich, insbesondere wenn nach langjähriger Berufstätigkeit im Sinne einer Auszeit ("sabbatical") lediglich eine fachliche oder geistige Horizonterweiterung angestrebt wird, ohne dass die herkömmliche Berufstätigkeit tatsächlich eine Änderung oder Erweiterung erfahren soll und erfährt.
4.2 Die bundesgerichtliche Rechtsprechung hatte sich namentlich wiederholt mit der Beurteilung von Nachdiplomstudiengängen zum Erwerb des MBA (Master of Business Administration) zu befassen. Meist wurde dabei das Gewicht darauf gelegt, dass die Vergrösserung der Berufsaufstiegschancen im Vordergrund stand, weshalb die entsprechenden Kosten regelmässig nicht zum Abzug zugelassen wurden, obwohl der MBA-Titel häufig berufsbegleitend und oft auch erst nach längerer beruflicher Tätigkeit erworben wird (vgl. insbes. die Urteile des Bundesgerichts 2C_750/2009 vom 26. Mai 2010 in StR 65/2010 S. 675; 2A.424/2005 vom 28. April 2006 in RtiD 2006 II 524; 2A.623/2004 vom 6. Juli 2005 in StE 2006 B 22.3 Nr. 86; 2A.277/2003 vom 18. Dezember 2003 in StR 59/2004 S. 451).
4.3 Im Vergleich dazu ist das LL.M.-Studium deutlich weniger an eine bereits bestehende Berufstätigkeit geknüpft. Namentlich das LL.M.-Studium an US-amerikanischen Universitäten stellt eine eigentliche rechtswissenschaftliche Ausbildung dar, die im Anschluss an ein rechtswissenschaftlichen Grundstudium absolviert werden kann. Verglichen mit einem schweizerischen Studienabschluss oder Anwaltspatent werden aber wesentlich andere Kenntnisse vermittelt, da amerikanisches Recht unterrichtet wird. Mit dem Studium ist sodann der Erwerb bzw. der vertiefte Gebrauch der englischen (bzw. US-amerikanischen) Fachsprache verbunden. Das LL.M.-Studium bildet oft die Fortsetzung der beruflichen Grundausbildung schweizerischer Juristen und wird in der Regel mehr oder weniger unmittelbar im Anschluss an das hiesige Studium absolviert. Diesfalls zählt es zur Aus- und nicht zur Weiterbildung. Wird der LL.M. allerdings erst nach einer gewissen Berufstätigkeit erworben, gilt es anhand der tatsächlichen Umstände der Berufsausübung und der Lehrinhalte zu differenzieren. Besteht fachliche Kongruenz zwischen der bisherigen Berufstätigkeit und den neu erworbenen Kenntnissen, dient das LL.M.-Studium der Weiterbildung. Vermittelt dieses jedoch neues Fachwissen und eröffnet es mithin erweiterte berufliche Möglichkeiten, handelt es sich, abgesehen von besonderen Ausnahmesituationen wie einem "sabbatical", um eine nicht abzugsfähige Zusatzausbildung.
4.4 Die Kosten des vom Beschwerdegegner absolvierten LL.M.-Studienganges betrugen insgesamt über Fr. 70'000.--. Bereits eine solche hohe Investition spricht nicht dafür, dass es sich lediglich um eine Weiterbildung im Rahmen der bisherigen Berufstätigkeit handelte. Der Beschwerdegegner war denn auch vor der Absolvierung des LL.M.-Studiums in einer Anwaltskanzlei mit zwei Partnern mit einem Monatsgehalt von brutto Fr. 6'500.-- angestellt. Der Studiengang wurde nicht berufsbegleitend absolviert, sondern bedingte im Gegenteil einen vollzeitlichen Auslandaufenthalt. Es gibt auch keine Hinweise dafür, dass es sich um eine vom Arbeitgeber gewährte Auszeit handelte. Unmittelbar nach dem LL.M.-Studium fand der Beschwerdegegner im Juli 2005 in einer grösseren Anwaltskanzlei mit damals sieben Anwälten eine neue Anstellung, die mit einem Monatssalär von brutto Fr. 8'500.-- verbunden war. Wiederum zwei Jahre später arbeitete er im Rechtsdienst der Schweizer Gesellschaft eines weltweit operierenden Pharmakonzerns mit anglophonem Hauptsitz. Selbst wenn inhaltlich gewisse Überschneidungen der Bereiche der neu erworbenen Fachkenntnisse mit der ursprünglichen beruflichen Tätigkeit bestanden, so diente der Studiengang doch klarerweise der Erweiterung dieser Kenntnisse und der Verbesserung der beruflichen Entfaltungsmöglichkeiten. Es handelt sich damit beim geleisteten finanziellen Aufwand nicht um abzugsfähige Weiterbildungskosten, sondern um solche einer eigentlichen Zusatzausbildung; es sind damit entgegen der Ansicht der Vorinstanz Berufsaufstiegskosten, die nicht zum Abzug zugelassen werden können.
5. Für die Staatssteuer sehen Art. 9 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG) sowie § 33 Abs. 1 lit. d StG/SO gleichermassen wie <ref-law> vor, dass zu den abziehbaren notwendigen Aufwendungen auch die mit dem Beruf zusammenhängenden Weiterbildungs- und Umschulungskosten gehören, nicht jedoch Ausbildungskosten. Das Steuerharmonisierungsgesetz verwendet dieselben Rechtsbegriffe und trifft die gleiche Unterscheidung wie das Bundesgesetz über die direkte Bundessteuer. Mit Blick auf die vertikale Steuerharmonisierung erscheint das auch sinnvoll. Ist somit für die Staatssteuer nach denselben Grundsätzen zu verfahren wie für die direkte Bundessteuer (vgl. die Urteile des Bundesgerichts 2C_750/2009 vom 26. Mai 2010, E. 4, in StR 65/2010 S. 675; 2C_589/2007 vom 9. April 2008, E. 5, in StE 2008 B 22.3 Nr. 96), ergibt sich aufgrund der gleichen Zusammenhänge, dass die vom Beschwerdegegner geltend gemachten Kosten für den fraglichen LL.M.-Studiengang bei der Staatssteuer ebenfalls nicht abzugsfähig sind.
6. 6.1 Die Beschwerde erweist sich als begründet und ist gutzuheissen. Der angefochtene Entscheid muss aufgehoben werden. Entgegen der Auffassung des Beschwerdegegners kann das Bundesgericht nicht nur kassatorisch, sondern auch reformatorisch entscheiden (<ref-law>, lex posterior gegenüber Art. 73 Abs. 3 StHG; <ref-ruling> E. 1.5). Das steuerbare Einkommen des Beschwerdegegners ist demnach gemäss dem Einspracheentscheid für die Staatssteuer auf Fr. 34'960.-- und für die Bundessteuer auf Fr. 34'900.-- festzusetzen. Die Sache geht zurück an das Steuergericht zur Neuverlegung der Kosten und Entschädigungen im vorinstanzlichen Verfahren.
6.2 Bei diesem Verfahrensausgang wird der unterliegende Beschwerdegegner kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Eine Parteientschädigung ist nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, und das Urteil des Steuergerichts des Kantons Solothurn vom 8. November 2010 wird aufgehoben. Das steuerbare Einkommen des Beschwerdegegners für das Steuerjahr 2004 wird gemäss dem Einspracheentscheid vom 30. März 2010 für die Staatssteuer auf Fr. 34'960.-- und für die Bundessteuer auf Fr. 34'900.-- festgesetzt.
2. Die Sache geht zurück an das Steuergericht des Kantons Solothurn zur Neuverlegung der Kosten und Entschädigungen im vorinstanzlichen Verfahren.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdegegner auferlegt.
4. Dieses Urteil wird dem Steueramt des Kantons Solothurn, dem Beschwerdegegner, der Veranlagungsbehörde Olten-Gösgen, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 15. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Uebersax