Sachverhalt: A. A.X._ verliess per Ende November 2003 die B._, um sich selbständig zu machen. Am 5. September 2003 gründete er die Kommanditgesellschaft Y._ und am 22. Dezember 2003 die Z._ AG. Er beabsichtigte, im Rahmen seiner Kommanditgesellschaft als Berater vorab für die Z._ AG selbständig erwerbstätig zu sein. Am 30. November 2003 zahlte die Vorsorgeeinrichtung der B._ an A.X._ dessen Freizügigkeitsguthaben in der Höhe von Fr. xxx aus. Als Grund der Barauszahlung wurde angegeben: "Vorzeitige Auflösung infolge Aufnahme (einer) selbständigen Erwerbstätigkeit". Die Veranlagungsbehörde Solothurn erfasste die Barauszahlung als Kapitalleistung aus Vorsorge mit der Sondersteuer (Jahressteuer) zum privilegierten Steuersatz. Die Veranlagungsverfügung datiert vom 18. Februar 2004 und erwuchs unangefochten in Rechtskraft. B. Am 4. März 2004 reichten A. und B.X._ die Steuererklärung 2003 und am 7. Februar 2005 die Steuererklärung 2004 ein. Bei der Steuererklärung 2003 befand sich der Lohnausweis der B._ für A.X._ für die Beschäftigungsdauer bis zum 30. November 2003. Der Steuererklärung 2004 lagen die Lohnausweise 2004 der B._ (Beschäftigungsdauer 1. März bis 31. März) und der Z._ AG (Beschäftigungsdauer 1. Januar bis 31. Dezember) bei. Nachdem die Staatssteuer und die direkte Bundessteuer 2003 wegen eines hängigen Einspracheverfahrens zunächst nur provisorisch veranlagt worden waren, erfolgte am 5. Juni 2006 die definitive Veranlagung. Am 30. Juni 2006 - noch während der laufenden Einsprachefrist - berichtigte die Veranlagungsbehörde die definitive Veranlagung und erfasste die Barauszahlung zusammen mit dem übrigen Einkommen zum vollen Steuersatz. Zur Begründung führte sie aus, da A.X._ keine selbständige Erwerbstätigkeit aufgenommen habe, seien die Voraussetzungen für eine privilegierte Besteuerung des Freizügigkeitsguthabens nicht erfüllt. Die Veranlagungsbehörde sicherte aber zu, die Sondersteuer aufzuheben, sobald die berichtigte ordentliche Veranlagung rechtskräftig sei. Eine Einsprache der Steuerpflichtigen wies die Veranlagungsbehörde am 4. April 2007 ab. C. Die Steuerpflichtigen führten Rekurs für die Staatssteuer und Beschwerde für die direkte Bundessteuer beim Steuergericht des Kantons Solothurn mit den Anträgen, die berichtigte Veranlagungsverfügung vom 30. Juni 2006 sei aufzuheben und die ordentliche definitive Veranlagung vom 5. Juni 2006 sei zu bestätigen. Das Steuergericht wies mit Urteil vom 14. Dezember 2009 die Rechtsmittel ab. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen die Steuerpflichtigen, das Urteil des Steuergerichts des Kantons Solothurn vom 14. Dezember 2009 betreffend die Staatssteuer und die direkte Bundessteuer sowie die berichtigte Veranlagung vom 30. Juni 2006 seien aufzuheben und die Veranlagung entsprechend der ordentlichen definitiven Veranlagung vom 5. Juni 2006 vorzunehmen. Steueramt und Steuergericht des Kantons Solothurn beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde. Mit Verfügung vom 4. Mai 2010 wurde der Beschwerde die aufschiebende Wirkung zuerkannt. Die II. öffentlich-rechtliche Abteilung des Bundesgerichts entschied über die Beschwerde an der öffentlichen Sitzung vom 7. Juni 2011, nachdem eine erste öffentliche Beratung vom 18. Februar 2011 unterbrochen und die Verfahrensbeteiligten zu einer ergänzenden Stellungnahme aufgefordert worden waren.