Sachverhalt:
A. A.X._ verliess per Ende November 2003 die B._, um sich selbständig zu machen. Am 5. September 2003 gründete er die Kommanditgesellschaft Y._ und am 22. Dezember 2003 die Z._ AG. Er beabsichtigte, im Rahmen seiner Kommanditgesellschaft als Berater vorab für die Z._ AG selbständig erwerbstätig zu sein.
Am 30. November 2003 zahlte die Vorsorgeeinrichtung der B._ an A.X._ dessen Freizügigkeitsguthaben in der Höhe von Fr. xxx aus. Als Grund der Barauszahlung wurde angegeben: "Vorzeitige Auflösung infolge Aufnahme (einer) selbständigen Erwerbstätigkeit".
Die Veranlagungsbehörde Solothurn erfasste die Barauszahlung als Kapitalleistung aus Vorsorge mit der Sondersteuer (Jahressteuer) zum privilegierten Steuersatz. Die Veranlagungsverfügung datiert vom 18. Februar 2004 und erwuchs unangefochten in Rechtskraft.
B. Am 4. März 2004 reichten A. und B.X._ die Steuererklärung 2003 und am 7. Februar 2005 die Steuererklärung 2004 ein. Bei der Steuererklärung 2003 befand sich der Lohnausweis der B._ für A.X._ für die Beschäftigungsdauer bis zum 30. November 2003. Der Steuererklärung 2004 lagen die Lohnausweise 2004 der B._ (Beschäftigungsdauer 1. März bis 31. März) und der Z._ AG (Beschäftigungsdauer 1. Januar bis 31. Dezember) bei.
Nachdem die Staatssteuer und die direkte Bundessteuer 2003 wegen eines hängigen Einspracheverfahrens zunächst nur provisorisch veranlagt worden waren, erfolgte am 5. Juni 2006 die definitive Veranlagung. Am 30. Juni 2006 - noch während der laufenden Einsprachefrist - berichtigte die Veranlagungsbehörde die definitive Veranlagung und erfasste die Barauszahlung zusammen mit dem übrigen Einkommen zum vollen Steuersatz. Zur Begründung führte sie aus, da A.X._ keine selbständige Erwerbstätigkeit aufgenommen habe, seien die Voraussetzungen für eine privilegierte Besteuerung des Freizügigkeitsguthabens nicht erfüllt. Die Veranlagungsbehörde sicherte aber zu, die Sondersteuer aufzuheben, sobald die berichtigte ordentliche Veranlagung rechtskräftig sei. Eine Einsprache der Steuerpflichtigen wies die Veranlagungsbehörde am 4. April 2007 ab.
C. Die Steuerpflichtigen führten Rekurs für die Staatssteuer und Beschwerde für die direkte Bundessteuer beim Steuergericht des Kantons Solothurn mit den Anträgen, die berichtigte Veranlagungsverfügung vom 30. Juni 2006 sei aufzuheben und die ordentliche definitive Veranlagung vom 5. Juni 2006 sei zu bestätigen. Das Steuergericht wies mit Urteil vom 14. Dezember 2009 die Rechtsmittel ab.
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen die Steuerpflichtigen, das Urteil des Steuergerichts des Kantons Solothurn vom 14. Dezember 2009 betreffend die Staatssteuer und die direkte Bundessteuer sowie die berichtigte Veranlagung vom 30. Juni 2006 seien aufzuheben und die Veranlagung entsprechend der ordentlichen definitiven Veranlagung vom 5. Juni 2006 vorzunehmen.
Steueramt und Steuergericht des Kantons Solothurn beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde.
Mit Verfügung vom 4. Mai 2010 wurde der Beschwerde die aufschiebende Wirkung zuerkannt.
Die II. öffentlich-rechtliche Abteilung des Bundesgerichts entschied über die Beschwerde an der öffentlichen Sitzung vom 7. Juni 2011, nachdem eine erste öffentliche Beratung vom 18. Februar 2011 unterbrochen und die Verfahrensbeteiligten zu einer ergänzenden Stellungnahme aufgefordert worden waren.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Steuergerichts des Kantons Solothurn betreffend die direkte Bundessteuer und die Staatssteuer ist zulässig (Art. 82 ff., 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 146 DBG [SR 642.11]; Art. 73 StHG [642.14]). Die Beschwerdeführer sind zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Die im vorliegenden Fall zur Anwendung gelangenden Vorschriften über die Besteuerung von Kapitalerträgen sind harmonisiert und stimmen inhaltlich überein, weshalb es sich für die Beschwerdeführer erübrigte, für die kantonalen Steuern und die direkte Bundessteuer zwei Beschwerdebegründungen abzufassen (BGE 135 II 260 E. 1.3).
1.2 Mit der Beschwerde können Rechtsverletzungen im Sinne von Art. 95 und 96 BGG geltend gemacht werden. Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen nur geltend gemacht werden, der angefochtene Entscheid verstosse gegen Normen des Bundesrechts (Art. 95 lit. a BGG), hier namentlich über die Steuerharmonisierung, oder gegen verfassungsmässige Rechte und Grundsätze (BGE 134 I 153 E. 4.2.2 S. 158; 134 II 349 E. 3 S. 351; 134 III 379 E. 1.2 S. 382 f.). Die Sachverhaltsfeststellung, soweit rechtserheblich, kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 BGG).
2. Eine solche unrichtige Sachverhaltsfeststellung rügen die Beschwerdeführer. Sie machen geltend, die Vorinstanz verkenne die Tatsache, dass der Beschwerdeführer - wenn auch nur für kurze Zeit - selbständig erwerbstätig gewesen sei. Er habe am 5. September 2003 zusammen mit seiner Ehegattin die Kommanditgesellschaft gegründet, um in deren Rahmen als selbständiger Unternehmensberater hauptsächlich für die von ihm am 22. Dezember 2003 gegründete Z._ AG tätig zu sein. Der Beschwerdeführer habe auch für den notwendigen Versicherungsschutz gesorgt. Als die Vorsorgeeinrichtung am 30. November 2003 ihre Austrittsabrechnung erstellt habe, sei er bereits im Rahmen einer Freizügigkeitspolice KKV vom 27. November 2003 bei der Winterthur Versicherung direkt versichert gewesen. Die getroffene Lösung habe sich aber in der Folge als wesentlich teurer erwiesen als der Anschluss an eine Kollektivversicherung. Er habe daher seinen Status als selbständig Erwerbender aufgegeben und sich durch die Z._ AG anstellen lassen.
Diese Tatsachen stellte auch die Vorinstanz nicht in Abrede. Sie erwog aber, dass sich damit eine selbständige Erwerbstätigkeit des Beschwerdeführers nicht nachweisen lasse. In der Tat finden sich keine Anhaltspunkte, dass der Beschwerdeführer im fraglichen Zeitraum, das heisst vom 1. Dezember 2003 bis 27. Januar 2004, selbständig erwerbstätig gewesen wäre. Es wurde auch kein Einkommen aus der Kommanditgesellschaft oder aus Beratungstätigkeit deklariert. Unter diesen Umständen kann der Vorinstanz nicht vorgehalten werden, sie habe den rechtserheblichen Sachverhalt rechtsfehlerhaft, das heisst offensichtlich unrichtig (willkürlich) oder unvollständig (Art. 105 Abs. 2 BGG), festgestellt, wenn sie eine auch nur vorübergehende selbständige Erwerbstätigkeit des Beschwerdeführers verneint hat. Ob der Bezug der Freizügigkeitsleistung rechtsmissbräuchlich erfolgte, wie die Vorinstanz festhielt, kann offenbleiben, da dies im Rahmen der Beurteilung der vorliegenden Beschwerde keine Rolle spielt.
I. Direkte Bundessteuer
3. Zu prüfen ist vorab, ob die Veranlagungsbehörde auf die ordentliche definitive Veranlagung vom 5. Juni 2006 zurückkommen und diese berichtigen durfte, nachdem sie festgestellt hatte, dass der Beschwerdeführer sich im Jahre 2004 nicht wie in Aussicht gestellt selbständig gemacht hatte, sondern weiterhin unselbständig erwerbstätig war. Die Berichtigung erfolgte am 30. Juni 2006, das heisst noch während der laufenden Einsprachefrist.
3.1 Nach dem Gesagten steht fest, dass der Beschwerdeführer entgegen seiner Ankündigung, die zur Auszahlung der Vorsorgegelder führte, keine selbständige Erwerbstätigkeit aufgenommen hat. Der am 4. März 2004 eingereichten Steuererklärung 2003 war der Lohnausweis der B._ für die Beschäftigungsdauer bis 30. November 2003 beigelegt. Als neue Arbeitgeberin des Beschwerdeführers per 31. Dezember 2003 war in der Steuererklärung die Z._ AG aufgeführt. Zum Zeitpunkt der Steuererklärung war die Freizügigkeitsleistung bereits mit der Jahressteuer veranlagt; diese Leistung war denn auch in der Steuererklärung nicht mehr enthalten. Wohl aus diesem Grund übersah die Veranlagungsbehörde, dass der Beschwerdeführer, entgegen seiner früheren Erklärung, keine selbständige Erwerbstätigkeit aufgenommen hatte. Erst die interne Revision ergab, dass die Voraussetzungen für eine privilegierte Besteuerung der Barauszahlung nicht erfüllt waren (Schreiben der Veranlagungsbehörde vom 30. Juni 2006). Zu diesem Zeitpunkt war die Veranlagung 2003 aber noch nicht in Rechtskraft erwachsen. Sie wurde daher innert der laufenden Einsprachfrist mit dem erwähnten Schreiben berichtigt.
Das war zulässig. Die Einleitung eines Nachsteuerverfahrens würde voraussetzen, dass die zu tiefe Veranlagung in Rechtskraft erwachsen ist (Art. 151 Abs. 1 DBG; Art. 53 Abs. 1 StHG). Solange aber ein Verfahren vor der Veranlagungs- oder Rechtsmittelbehörde hängig ist, ist die Veranlagung noch offen und liegt keine Unterbesteuerung vor. Daher kann die Veranlagung noch im ordentlichen Verfahren berichtigt werden (RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 2. Aufl. 2009, N. 10 zu Art. 151 DBG). Nach der Rechtsprechung kann die Steuerbehörde während der Einsprachefrist auf ihre noch nicht rechtskräftige Veranlagung zurückkommen und sie berichtigen, selbst wenn keine Einsprache erhoben worden ist (BGE 121 II 273 E. 1a S. 276 ff.; KLAUS A. VALLENDER, Kommentar zum schweizerischen Steuerrecht, Band I/1, 2. Aufl. 2002, N. 1 zu Vorbem. Art. 51-53 StHG, und Band I/2b, 2. Aufl. 2008, N. 1 zu Vorbem. Art. 147-153 DBG; s. auch BLUMENSTEIN/LOCHER, System des Steuerrechts, 6. Aufl. 2002, § 29 III Ziff. 3 S. 418). Diese Berichtigung ist an keine besonderen Voraussetzungen geknüpft und darf auch zu Ungunsten der steuerpflichtigen Person vorgenommen werden. Es braucht daher nicht näher geprüft zu werden, zu welchem Zeitpunkt vorliegend die Veranlagungsbehörde von den massgeblichen Tatsachen Kenntnis erhielt und ihren Irrtum bemerkte. Der Korrektur gerade solcher Irrtümer dient die Intervention während laufender Einsprachefrist.
3.2 Unbehelflich ist der Einwand der Beschwerdeführer, die Jahressteuerveranlagung vom 18. Februar 2004 sei rechtskräftig und stehe der Besteuerung der Freizügigkeitsleistung mit dem übrigen Einkommen im Rahmen der ordentlichen Veranlagung entgegen. Die Veranlagungsbehörde hat ausdrücklich in Aussicht gestellt, die Jahressteuerveranlagung aufzuheben, sobald die vorliegend streitige Veranlagungsverfügung in Rechtskraft erwachsen sei (Schreiben vom 30. Juni 2006). Diese Intervention der Veranlagungsbehörde zum Vorteil der steuerpflichtigen Beschwerdeführer ist zulässig, darf doch die Veranlagungsbehörde nach Art. 147 Abs. 1 lit. a DBG und Art. 51 Abs. 1 a StHG auch eine rechtskräftige Verfügung auf Antrag oder von Amtes wegen zu Gunsten des Steuerpflichtigen revidieren, "wenn erhebliche Tatsachen oder entscheidende Beweismittel entdeckt werden". Um eine solche Revision zu Gunsten der Beschwerdeführer handelt es sich bei der in Aussicht genommenen Aufhebung der Sondersteuerveranlagung. Ob sich die Interventionen der Veranlagungsbehörde - gesamtheitlich betrachtet - zum Vorteil oder zum Nachteil der Steuerpflichtigen auswirkten, kann verfahrensrechtlich keine Rolle spielen, da es sich beim Revisionsverfahren und bei der ordentlichen Veranlagung um unabhängige Verfahren mit je eigenen Regeln handelt. Das ist kein überspitzter Formalismus, wie die Beschwerdeführer geltend machen, sondern es geht lediglich um die Anwendung der massgebenden Verfahrensbestimmungen. Die Veranlagungsbehörde hat den Beschwerdeführern im genannten Schreiben vom 30. Juni 2006 auch von der vorgesehenen Revision Kenntnis gegeben und damit das Revisionsverfahren rechtzeitig eingeleitet (Art. 148 DBG, Art. 51 Abs. 3 StHG).
3.3 Unbegründet ist der Einwand der Beschwerdeführer, die Veranlagungsbehörde sei nicht befugt, vom Entscheid der Vorsorgeeinrichtung abzuweichen und die Rechtmässigkeit der Barauszahlung der Freizügigkeitsleistung in eigener Kompetenz zu überprüfen. Die Einrichtungen der beruflichen Vorsorge sind nicht mit Verfügungsbefugnis ausgestattet (vgl. MAURER/SCARTAZZINI/HÜRZELER, Bundessozialversicherungsrecht, 3. Aufl. 2009, § 14 Rz. 136 S. 272, s. auch § 14a Rz. 11 S. 282 für die gebundene Selbstvorsorge). Es besteht keine Verfügung der Vorsorgeeinrichtung der B._ über die Freizügigkeitsleistung, sondern lediglich eine Austrittsabrechnung per 30. November 2003, die aber nicht in einem besonderen Verfahren ergangen ist. Eine bestimmte Praxis der BVG-Aufsichtsbehörde wird von den Beschwerdeführern nicht angerufen. Zur Durchführung der Besteuerung musste die Veranlagungsbehörde daher zwangsläufig vorfrageweise selbst über die vorsorgerechtliche Qualifikation der fraglichen Leistung befinden (vgl. MARINA ZÜGER, Steuerliche Missbräuche nach Inkrafttreten der 1. BVG-Revision, in ASA 75 S. 537; s. auch BGE 131 III 546 E. 2.3 S. 551).
4. Da feststeht, dass der Beschwerdeführer zu keinem Zeitpunkt selbständig erwerbstätig war und die Barauszahlung zu Unrecht erfolgte, bleibt zu prüfen, welcher Besteuerung diese unterliegt. Die Beschwerdeführer stellen sich auf den Standpunkt, die Kapitalleistung einer Vorsorgeeinrichtung unterliege auch dann der Sondersteuer (Jahressteuer), wenn sich der geltend gemachte Barauszahlungsgrund (Art. 5 FZG; SR 831.42) nicht verwirklicht hat.
4.1 Nach dem Recht der direkten Bundessteuer sind unter anderem steuerbar "alle Einkünfte (...) aus Einrichtungen der beruflichen Vorsorge und aus anerkannten Formen der gebundenen Selbstvorsorge, mit Einschluss der Kapitalabfindungen und Rückzahlungen von Einlagen, Prämien und Beiträgen" (Art. 22 Abs. 1 DBG). Werden solche Leistungen als Kapitalleistungen ausbezahlt, sind sie gemäss Art. 38 DBG mit der Jahressteuer getrennt vom übrigen Einkommen zu erfassen (Abs. 1). Es handelt sich um eine privilegierte Besteuerung, da die Steuer lediglich zu einem Fünftel des Tarifs nach Art. 36 DBG berechnet wird (Abs. 2) und ausserdem die Progressionswirkung des übrigen Einkommens nicht zum Tragen kommt.
Unter Art. 38 DBG fallen nach einhelliger Doktrin alle Kapitalleistungen aus Vorsorge und namentlich aus der 2. Säule und der Säule 3a. Die Sonderbesteuerung kommt auch dann zur Anwendung, wenn die Kapitalleistung aus der 2. Säule im Rahmen der Wohneigentumsförderung zum Erwerb von Wohneigentum verwendet wird (PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, N. 6 zu Art. 38 DBG) oder als Freizügigkeitsleistung im Hinblick auf die Aufnahme einer selbständigen Erwerbstätigkeit ausbezahlt wird (GLADYS LAFFELY MAILLARD, in: Commentaire romand, Impôt fédéral direct, 2008, N. 5 zu Art. 38 DBG). Das ist in der Lehre unbestritten. Über die steuerliche Behandlung von Kapitalleistungen (Freizügigkeitsleistungen) von Vorsorgeeinrichtungen, die ohne Barauszahlungsgrund erfolgen, sind die Meinungen in der Doktrin jedoch geteilt. Auch die Praxis ist nicht einheitlich.
4.1.1 Nach einem Teil der Lehre kommt es nicht darauf an, ob die Kapitalleistung rechtmässig bezogen und bestimmungsgemäss verwendet wird. Da nach dem Wortlaut von Art. 38 in Verbindung mit Art. 22 Abs. 1 DBG die privilegierte Besteuerung - im Gegensatz zu einzelnen kantonalen Vorschriften - nicht auf die "gesetzlichen oder reglementarischen" Leistungen beschränkt sei, komme sie auch bei reglements- oder gesetzeswidrig ausbezahlten Kapitalleistungen zur Anwendung (so namentlich MAUTE/STEINER/RUFENER/LANG, Steuern und Versicherungen, 3. Aufl. 2011, S. 199). Gemäss dieser Lehrmeinung spielt es somit keine Rolle, ob Kapitalleistungen von Vorsorgeeinrichtungen oder Formen der gebundenen Selbstvorsorge rechtmässig bezogen bzw. beim Erwerb von Wohneigentum bestimmungsgemäss verwendet wurden; es erfolgt immer eine Besteuerung nach Art. 38 DBG (vgl. AGNER/DIGERONIMO/NEUHAUS/STEINMANN, Kommentar zum Gesetz über die direkte Bundessteuer, Ergänzungsband, 2000, N. 1a zu Art. 38; LAFFELY MAILLARD, a.a.O.; LOCHER, a.a.O.; RICHNER/FREI/KAUFMANN/ MEUTER, a.a.O., N. 12 zu Art. 38 DBG).
Das gilt nach dieser Doktrin namentlich auch für eine Austrittsleistung im Sinne von Art. 5 FZG, die vom Versicherten für die Gründung einer Aktiengesellschaft, von der er sich anstellen lässt, verwendet wird. Auch eine solche Leistung wäre nach Art. 38 DBG privilegiert zu besteuern (vgl. LAFFELY MAILLARD, a.a.O.). Eine "Strafaktion" bei unrechtmässigem Bezug, etwa durch Besteuerung der Leistung zusammen mit dem übrigen Einkommen und zum ordentlichen Einkommenssteuertarif, wäre unzulässig (AGNER/DIGERONIMO/NEUHAUS/STEINMANN, a.a.O.). Diese Ansicht vertrat auch die Vorinstanz in zwei früheren Urteilen (zitiert bei LOCHER, a.a.O.). Sie begründete dies damals damit, dass die vom übrigen Einkommen getrennte Besteuerung immer dann sinnvoll und sachgerecht sei, wenn es sich um aperiodische Einkünfte handle, die betragsmässig ein ausserordentliches Ausmass erreichen; unter diesem Gesichtswinkel sei unerheblich, ob die aperiodische Einkunft (i. c. Kapitalauszahlungen im Rahmen der Wohneigentumsförderung) dem gesetzlichen Zweck entsprechend bzw. bestimmungsgemäss verwendet werde oder nicht (Urteile vom 15. November 1999, in: Grundsätzliche Entscheide des Steuergerichts, 1999 Nr. 7, und in: Steueramt Solothurn, Steuerpraxis, 2000 Nr. 5).
4.1.2 Nach einer anderen Lehrmeinung (DANIELLE YERSIN, L'évolution du droit fiscal en matière de prévoyance professionnelle, ASA 62 S. 144) kann es für die Anwendung von Art. 38 DBG demgegenüber nicht gleichgültig sein, ob die Kapitalleistung rechtmässig bezogen und zweckkonform verwendet wurde. Vielmehr sei zu prüfen, ob eine derartige Zahlung noch der Vorsorge diene, andernfalls die privilegierte Besteuerung zu verweigern sei. Eine Leistung könne nicht als vorsorgerechtlich qualifiziert werden, wenn gerade die dafür aufgestellten Regeln verletzt würden; allein auf den Gesetzestext abzustellen (wie z.B. MAUTE/STEINER/RUFENER/LANG, a.a.O.), sei zu formalistisch.
Dieser Auffassung haben sich nunmehr - namentlich mit Blick auf die Problematik der steuerlichen Missbräuche in der 2. Säule - weitere Autoren angeschlossen (ZÜGER, a.a.O., S. 535 f.; IVO P. BAUMGARTNER, in: Kommentar zum schweizerischen Steuerrecht, I/2a, 2. Aufl. 2008, N. 6c zu Art. 38 DBG). Erfolge eine Auszahlung durch die Vorsorgeeinrichtung z.B. aufgrund einer Reglementsverletzung - so wird postuliert -, sei diese anzuhalten, die Zahlung rückgängig zu machen; geschehe das nicht, erfolge die Besteuerung ordentlich und nicht nach Art. 38 DBG (BAUMGARTNER, a.a.O.). In diesem Sinn hat bereits die Steuerrekurskommission II des Kantons Zürich in einem ausführlich begründeten Urteil vom 3. März 2005 entschieden. Danach wäre eine Vorsorgeleistung (Kapitalleistung), die unter Missachtung der vorgeschriebenen Frist bezogen worden sei, zurückzuzahlen, andernfalls der Bezug der ordentlichen Steuer drohe; der Steuerpflichtige sei seitens der Steuerbehörden zur Rückzahlung anzuhalten (Urteil vom 3. März 2005, in: StE 2005 B 26.13 Nr. 18). Gestützt auf diese Doktrin und das erwähnte Urteil des Kantons Zürich hat auch die Vorinstanz im hier vorliegenden Fall - unter Aufgabe ihrer früheren Praxis - dem Beschwerdeführer die privilegierte Besteuerung der Barauszahlung verweigert.
4.2 Die steuerrechtliche Behandlung von ohne Barauszahlungsgrund erfolgten Kapitalleistungen bedarf somit der Klärung. Im Widerstreit der Lehrmeinungen verdienen zwei Aspekte hervorgehoben zu werden:
- Auch Leistungen einer Vorsorgeeinrichtung, die unter Verletzung von reglementarischen oder vorsorgerechtlichen Bestimmung bezogen worden sind, können grundsätzlich ihren Vorsorgecharakter bewahren. Deshalb lässt sich sehr wohl im Sinne der erstgenannten Lehrmeinung (oben E. 4.1.1) die Ansicht vertreten, dass auch unrechtmässig bezogene oder nicht bestimmungsgemäss verwendete Leistungen privilegiert besteuert werden können (LOCHER, a.a.O.; AGNER/DIGERONIMO/ NEUHAUS/STEINMANN, a.a.O.; RICHNER/FREI/KAUFMANN/MEUTER; a.a.O.). Reglements- oder gesetzeswidrige Vorsorgeleistungen, die rechtsmissbräuchlich in der Absicht, Steuern zu sparen, in Anspruch genommen werden, dürften ohnehin steuerlich nicht als Vorsorgeleistungen privilegiert besteuert werden.
- Andererseits kommen dem Steuerrecht bei der Verwirklichung und Durchführung der beruflichen Vorsorge wesentliche Funktionen zu, was die Besteuerung von Beiträgen und Leistungen betrifft (vgl. CARL HELBLING, Personalvorsorge und BVG, 8. Aufl. 2006, S. 68; ZÜGER, a.a.O., S. 515 f.). Es kann daher nicht Aufgabe des Steuerrechts sein, ein den Zweck der Vorsorge gefährdendes Verhalten zu unterstützen und rechtswidrig bezogene Leistungen aus Vorsorgeeinrichtungen steuerlich zu begünstigen. Kapitalleistungen könnten danach nicht als Leistungen aus Vorsorge qualifiziert werden, wenn sie genau die dafür aufgestellten Vorschriften missachten (oben E. 4.1.2). Nach ZÜGER (a.a.O., S. 536) wäre die steuerliche Privilegierung dann nicht zu gewähren, wenn die reglementswidrige Ausrichtung von Leistungen im konkreten Fall mit Vorteilen verbunden ist, die bei einem reglementskonformen Verhalten nicht hätten erlangt werden können.
4.3 Der vollen Abzugsfähigkeit der Beiträge an die berufliche Vorsorge bei den direkten Steuern des Bundes, der Kantone und Gemeinden (Art. 81 BVG; SR 831.40) entspricht, dass die Leistungen aus der beruflichen Vorsorge in vollem Umfang als Einkommen steuerbar sind (Art. 83 BVG); die volle Besteuerung gilt sowohl für Leistungen in Rentenform wie auch für Kapitalleistungen (Art. 22 Abs. 1 DBG; vgl. LOCHER, a.a.O., N. 20 zu Art. 22 DBG; RICHNER ET AL., N. 30 ff. zu Art. 22 DBG). Allerdings statuiert Art. 38 DBG für Kapitalleistungen eine Sonderreglung, indem diese vom übrigen Einkommen gesondert und nur zu einem Fünftel der nach dem ordentlichen Tarif (Art. 36 DBG) berechneten Steuer erfasst werden. Auch das Steuerharmonisierungsgesetz sieht in Art. 11 Abs. 3 StHG für Leistungen in Kapitalform eine separate Besteuerung vor. Es handelt sich um eine erhebliche steuerliche Privilegierung der Kapitalleistungen gegenüber den Rentenleistungen, da die Letzteren vollumfänglich und progressionswirksam mit dem übrigen Einkommen zu versteuern sind.
Die Expertenkommission zur Prüfung des Systems der direkten Steuern auf Lücken, die im Rahmen des Stabilisierungsprogramms 1998 im Auftrag des Eidgenössischen Finanzdepartements das harmonisierte Steuerrecht gemäss DBG und StHG auf Lücken hin untersuchte (Expertenkommission Steuerlücken), befasste sich namentlich auch mit der Frage der steuerlichen Förderung der beruflichen Vorsorge. Sie kam zum Schluss, dass sowohl der Steueraufschubeffekt, der dadurch entsteht, dass die Beiträge an die berufliche Vorsorge vorerst nicht besteuert werden, wie auch die Steuerbefreiung der Vorsorgeeinrichtungen und der reinvestierten Erträge (Art. 80 BVG) systemkonform und nicht als Steuerlücke zu betrachten seien. Individuelle Formen der steuerlichen Förderung der beruflichen Vorsorge seien hingegen fragwürdig. Das betreffe namentlich den Kapitalbezug der Vorsorgeleistungen bei Erreichen der Altersgrenze sowie die Barauszahlungen in den vom Gesetz (Art. 5 FZG) vorgesehenen Fällen, da die tatsächliche versicherungsmässige Abdeckung der drei Risiken Invalidität, Tod und Alter nur mit einer Rentenversicherung vollumfänglich erreicht werden könne. Die normale Vorsorgeform sei daher die Rente, nicht die Kapitalabfindung (Art. 37 BVG). Sofern eine völlige steuerliche Gleichbehandlung der beiden Formen nicht möglich sei, müsse daher die Rente und nicht die Kapitalleistung steuerlich gefördert werden. Unter diesem Gesichtswinkel liessen sich die gesonderte Besteuerung der Kapitalleistungen aus Vorsorge (Art. 11 Abs. 3 StHG, Art. 38 Abs. 1 und 2 DBG) und die damit verbundenen steuerlichen Vorteile nicht rechtfertigen (Bericht der Expertenkommission Steuerlücken, 1998, S. 90 f. Ziff. 3.7.4, 3.7.7).
Die Ansicht der Expertenkommission hat einiges für sich (s. auch BAUMGARTNER, a.a.O., N. 2 ff. zu Art. 38 DBG). Dazu kommt, dass die gesetzliche Regelung der Besteuerung von Kapitalleistungen ein gewisses Steuerplanungspotential eröffnet, auch wenn im Rahmen der 1. BVG-Revision mit Wirkung ab dem 1. Januar 2006, was den überobligatorischen Bereich betrifft, Obergrenzen für den versicherbaren Lohn eingeführt wurden (vgl. Art. 79b f. BVG und dazu RIEMER/RIEMER-KAFKA, Das Recht der beruflichen Vorsorge in der Schweiz, 2. Aufl. 2006, § 1 N. 22 S. 10; ZÜGER, a.a.O., S. 524 ff.). Gemäss Art. 113 Abs. 2 lit. a BV soll die berufliche Vorsorge zusammen mit den Leistungen der Eidgenössischen Versicherungen "die Fortsetzung der gewohnten Lebenshaltung in angemessener Weise" ermöglichen. Um dem Verfassungsauftrag Nachachtung zu verschaffen, ist daher die steuerliche Privilegierung der Kapitalleistungen in Art. 38 DBG nicht extensiv zu interpretieren. Das spricht dafür, die steuerliche Privilegierung in Art. 38 DBG auf die in Gesetz und Verordnung umschriebenen Fälle zu beschränken. Die Verweisung in Art. 38 auf Art. 22 DBG ("Einkünfte aus ... Einrichtungen der beruflichen Vorsorge") kann daher nicht so verstanden werden, dass auch eine von vornherein rechtswidrig bezogene Kapitalleistung aus einer Vorsorgeeinrichtung steuerlich privilegiert behandelt werden müsste. Nicht der Vorsorge dienen Barauszahlungen (Kapitalleistungen), wenn ein Barauszahlungsgrund von Anfang an nicht gegeben ist oder wenn die Barauszahlung gar nicht zweckentsprechend verwendet wird. In diesem Fall greift daher die ordentliche Besteuerung und ist die Kapital- oder Barauszahlung zusammen mit dem übrigen Einkommen ordentlich zu versteuern. Das gilt namentlich für den Barauszahlungsgrund der Aufnahme einer selbständigen Erwerbstätigkeit in Art. 5 Abs. 1 lit. b FZG. Vorbehalten ist der Fall, dass eine nicht rechtmässig bezogene oder zweckentfremdet verwendete Barauszahlung an die Vorsorgeeinrichtung zurückbezahlt bzw. wieder ihrem Zweck zugeführt wird (vgl. AGNER/DIGERONIMO/NEUHAUS/STEINMANN, a.a.O.).
5. 5.1 Vorliegend ist davon auszugehen, dass der Beschwerdeführer keine selbständige Erwerbstätigkeit aufgenommen hat. Er hat vielmehr die Kapitalleistung aus der beruflichen Vorsorge zur Gründung einer Aktiengesellschaft verwendet und damit das angesparte Kapital der obligatorischen beruflichen Vorsorge, welcher er als Arbeitnehmer nach wie vor unterstellt ist, entzogen. Eine Rückführung der Gelder in die obligatorische berufliche Vorsorge ist offenbar nicht mehr möglich bzw. nicht angeboten worden. Es steht fest, dass eine erhebliche Steuerersparnis damit verbunden wäre, wenn die Besteuerung nach Art. 38 DBG gewährt würde. Die Beschwerdeführer haben durch die Besteuerung der Barauszahlung mit der Jahressteuer, berechnet zu einem Fünftel nach dem ordentlichen Tarif (Art. 36 DBG), zu Unrecht erheblich profitiert, zumal bereits die Arbeitnehmer- und Arbeitgeberbeiträge vollumfänglich von der Steuer befreit waren (Art. 33 Abs. 1 lit. d DBG). Die Gleichbehandlung mit den übrigen Steuerpflichtigen erfordert die ordentliche Besteuerung der vorliegend streitigen Barauszahlung.
5.2 Zur Anwendung gelangt der Tarif nach Art. 36 DBG. Für Kapitalabfindungen für wiederkehrende Leistungen sieht Art. 37 DBG zwar vor, dass diese zusammen mit dem übrigen Einkommen zum Steuersatz zu berechnen ist, der sich ergäbe, wenn anstelle der einmaligen Leistung eine entsprechende jährliche Leistung ausgerichtet würde. Damit soll im Rahmen der ordentlichen Besteuerung vermieden werden, dass eine Person infolge der einmaligen Auszahlung von kapitalisierten periodischen Leistungen zu einem überhöhten, der wirtschaftlichen Leistungsfähigkeit nicht entsprechenden Steuersatz besteuert wird. Zur Auszahlung gelangte vorliegend jedoch aufgrund des (vermeintlichen) Barauszahlungsgrundes der Aufnahme einer selbständigen Erwerbstätigkeit eine Kapitalleistung (Austrittsleistung) und keine Kapitalabfindung für wiederkehrende Leistungen. Über einen Anspruch auf wiederkehrende Leistungen verfügte der Beschwerdeführer zu diesem Zeitpunkt gerade nicht. Dies wäre vielmehr erst bei der Pensionierung der Fall, wobei dann aber die Regelung von Art. 38 DBG anwendbar ist. Die Anwendung des Rentensatzes ist daher vorliegend nicht möglich. Der angefochtene Entscheid ist in dieser Hinsicht nicht zu beanstanden. Die Beschwerde ist bezüglich der direkten Bundessteuer abzuweisen.
II. Staatssteuer
6. Das Steuerharmonisierungsgesetz enthält für die steuerliche Behandlung der hier fragliche Barauszahlung eine der direkten Bundessteuer entsprechende Regelung. Der Einkommenssteuer unterliegen nach der Einkommensgeneralklausel in Art. 7 Abs. 1 StHG alle wiederkehrenden und einmaligen Einkünfte, namentlich auch solche aus unselbständiger Erwerbstätigkeit. Nach Art. 11 Abs. 3 StHG werden Kapitalleistungen aus Vorsorgeeinrichtungen sowie Zahlungen bei Tod und für bleibende körperliche oder gesundheitliche Nachteile für sich allein besteuert; sie unterliegen stets einer vollen Jahressteuer. Die Revision rechtskräftiger Verfügungen und Entscheide wird in Art. 51 StHG gleich geregelt wie in Art. 147 und 148 DBG.
Es gelten mithin nach dem Steuerharmonisierungsgesetz weitgehend die gleichen Vorschriften wie für die direkte Bundessteuer. Es rechtfertigt sich nicht, die vorliegend streitige Kapitalleistung im Bereich der kantonalen direkten Steuern vom Einkommen anders zu behandeln als für die direkte Bundessteuer. Die Beschwerde ist daher auch hinsichtlich der kantonalen Steuern abzuweisen.
7. Entsprechend dem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern unter solidarischer Haftung aufzuerlegen (Art. 65 und 66 Abs. 1 und 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird hinsichtlich der direkten Bundessteuer abgewiesen.
2. Die Beschwerde wird hinsichtlich der kantonalen Steuern abgewiesen.
3. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
4. Dieses Urteil wird den Beschwerdeführern, dem Steueramt des Kantons Solothurn, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 7. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann