Sachverhalt:
A. Die Veranlagungsbehörde Solothurn eröffnete am 15. November 2005 gegenüber X._ und Y._ nebst der ordentlichen Staatssteuerveranlagung 2000 (Bemessungsjahr 1999) die Jahressteuerveranlagungen für die direkte Bundessteuer 1999/2000 und für die Staatssteuer 2000 (Sondersteuer infolge Wechsels der zeitlichen Bemessung für die natürlichen Personen per 1. Januar 2001). Die Veranlagungsbehörde Solothurn hiess eine Einsprache am 30. April 2008 gegen die Jahressteuerveranlagungen teilweise gut. Die Staatssteuerveranlagung 2000 unterzog sie einer reformatio in peius.
Mit Rekurs beschwerten sich die Steuerpflichtigen beim Steuergericht des Kantons Solothurn über Verfahrensfehler, insbesondere hinsichtlich der reformatio in peius, und bestritten, dass Sondereinkommen gegeben sei. Mit Entscheid vom 8. März 2010 wies das Steuergericht das Rechtsmittel in Bezug auf die direkte Bundessteuer und die Staatssteuer ab. Am Entscheid wirkten, einschliesslich des Gerichtspräsidenten, sechs Gerichtsmitglieder mit.
B. Hiergegen führen X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Hauptantrag, das Urteil des Steuergerichts des Kantons Solothurn vom 8. März 2010 hinsichtlich der Jahressteuerveranlagungen für Bund und Kanton und die zugrunde liegenden Veranlagungsverfügungen seien aufzuheben; das Steuergericht sei anzuweisen, ein Urteil zu fällen, das mit dem verfassungsmässigen Anspruch auf den gesetzlichen Richter im Einklang stehe. Die Beschwerdeführer stellen zudem verschiedene Eventualanträge.
Das Steueramt des Kantons Solothurn, die Eidgenössische Steuerverwaltung und das Steuergericht des Kantons Solothurn beantragen Abweisung der Beschwerde (soweit darauf einzutreten ist).
Der Fall wurde am 17. November 2011 an einer öffentlichen Sitzung beraten.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Steuergerichts des Kantons Solothurn über die direkte Bundessteuer und die Staatssteuer ist zulässig (Art. 82 ff., 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 146 DBG [SR 642.11]; Art. 73 StHG [642.14]). Die Beschwerdeführer sind zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Unzulässig ist das Rechtsmittel jedoch, soweit die Beschwerdeführer auch die Aufhebung der Veranlagungsverfügungen beantragen, da sich die Beschwerde nur gegen Entscheide von letzten kantonalen Instanzen richten kann (Art. 86 Abs. 1 lit. d BGG).
1.2 Mit der Beschwerde kann die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es im Rahmen der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 2, Art. 106 Abs. 2 BGG) grundsätzlich nur die geltend gemachten Rechtswidrigkeiten (BGE 133 II 249 E. 1.4.1 S. 254). Die Verletzung von Grundrechten und von kantonalem Recht ist nur zu prüfen, wenn eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
Entgegen der Ansicht des kantonalen Steueramtes genügt die vorliegende Beschwerde, zumindest in den hier zu prüfenden Punkten, dem Begründungserfordernis. Die Beschwerdeführer legen ausführlich und detailliert dar, dass und weshalb nach ihrer Ansicht der Anspruch auf den verfassungsmässigen Richter verletzt worden sein soll. Auf die Beschwerde ist einzutreten.
1.3 Die Frage, ob der Anspruch auf den verfassungsmässigen Richter gemäss Art. 30 Abs. 1 BV verletzt wurde, stellt sich für die kantonalen Steuern und die direkte Bundessteuer in gleicher Weise. Die Vorinstanz hat über die Bundessteuer und die Staatssteuer im selben Urteil entschieden. Eine Verfahrenstrennung oder separate Begründungen erübrigen sich.
1.4 Die Beschwerdeführer machen auch Nichtigkeit der vom vorliegenden Streit betroffenen Veranlagungsverfügungen geltend. Eine nichtige Verfügung entfaltet keine Rechtswirkungen. Sie kann daher auch nicht Anfechtungsobjekt sein; das heisst, auf die Beschwerde gegen eine nichtige Verfügung ist nicht einzutreten, wobei die Nichtigkeit im Dispositiv festzustellen ist (BGE 132 II 342 E. 2.3). Auch dieser Feststellungsentscheid hat aber in ordentlicher Besetzung der zuständigen Behörde zu ergehen. Die von den Beschwerdeführern geltend gemachte Nichtigkeit der Ausgangsverfügungen steht daher der vorgängigen Prüfung der Frage, ob der Anspruch auf den verfassungsmässigen Richter gemäss Art. 30 Abs. 1 BV verletzt worden ist, nicht entgegen.
2. 2.1 Die Beschwerde richtet sich u.a. gegen die Besetzung des Kantonalen Steuergerichts als Vorinstanz.
Die Beschwerdeführer machen geltend, bei der Vorinstanz handle es sich grundsätzlich um ein durch Gesetz geschaffenes Gericht. Der Spruchkörper sei beschlussfähig, wenn mindestens fünf Mitglieder anwesend sind; dieser könne sich aber auch aus sechs oder sieben Mitgliedern zusammensetzen. Soweit ersichtlich entscheide der Präsident des Steuergerichts im Rahmen der Mindestvorschrift von § 55 Abs. 3 des Gerichtsorganisationsgesetzes (Gesetz vom 13. März 1977 über die Gerichtsorganisation, GOG) zum einen über den zahlenmässigen Bestand des urteilenden Gerichts und zum andern über die beizuziehenden Richter bzw. Ersatzrichter. Diese Ordnung verstosse in verschiedener Hinsicht gegen Art. 30 Abs. 1 BV. Zum einen bestehe ein Anspruch der Beschwerdeführer, die Besetzung des urteilenden Gerichts im Voraus, d.h. vor dem Urteilsspruch, zu kennen. Zum anderen komme dem Präsidenten durch das Geschäftsreglement eine Funktion zu, die durch das Gesetz nicht abgedeckt sei, indem er die Anzahl der Richter selbst festsetzen könne und ihm bei Stimmengleichheit der Stichentscheid zustehe. Da die Sitzungen des Gerichts nicht öffentlich sind, sei für die Beschwerdeführer nicht ersichtlich, wie vorliegend die einzelnen Mitglieder gestimmt hätten und ob der Präsident den Stichentscheid gegeben habe. All das sei geeignet, Misstrauen in die Unparteilichkeit des Gerichts zu begründen.
2.2 Art. 30 Abs. 1 BV verleiht dem Rechtsuchenden einen Anspruch auf ein durch Gesetz geschaffenes Gericht. Ausnahmegerichte sind ausdrücklich untersagt. Es soll damit verhindert werden, dass Gerichte eigens für die Beurteilung einer Angelegenheit gebildet werden. Die Rechtsprechung soll nicht durch eine gezielte Auswahl der Richter im Einzelfall beeinflusst werden können. Jede Besetzung, die sich nicht mit sachlichen Gründen rechtfertigen lässt, verletzt die Garantie des verfassungsmässigen Richters (Urteil 6P.102/2005 vom 26. Juni 2006 E. 2.2 mit Hinweisen, in: ZBl 108/2007 S. 43).
Nach Art. 30 Abs. 1 BV muss sich die Gerichtsorganisation auf ein gesetzmässiges, d.h. durch formelles Gesetz vorgesehenes Gericht abstützen. Nur untergeordnete Fragen können an die Exekutive (oder hier an die Justizbehörde) zur Regelung delegiert werden (BGE 134 I 125 E. 3.3 mit Hinweisen). Besteht eine Behörde aus einer bestimmten Zahl von Mitgliedern, so müssen - unter Vorbehalt abweichender Ordnung - beim Entscheid alle mitwirken. Wenn einzelne Mitglieder aus triftigem Grund in den Ausstand treten müssen, sind sie zu ersetzen. Jeder Verfahrensbeteiligte hat Anspruch darauf, dass die Behörde richtig zusammengesetzt ist, vollständig und ohne Anwesenheit Unbefugter entscheidet (BGE 127 I 128 E. 4b; René Rhinow und andere, Öffentliches Prozessrecht, 2. Aufl. 2010, Rz. 302 S. 108 und Rz. 470 S. 152). Ein gewisses Ermessen bei der Besetzung des Spruchkörpers sowie über den Beizug von Ersatzrichtern wird dadurch nicht ausgeschlossen. Allerdings soll die Besetzung wenn immer möglich nach sachlichen Kriterien erfolgen (BGE 105 Ia 172 E. 5b S. 178 ff.; s. auch Regina Kiener, Richterliche Unabhängigkeit, 2001, S. 376 ff.).
Nach Art. 30 Abs. 1 BV muss sich die Gerichtsorganisation auf ein gesetzmässiges, d.h. durch formelles Gesetz vorgesehenes Gericht abstützen. Nur untergeordnete Fragen können an die Exekutive (oder hier an die Justizbehörde) zur Regelung delegiert werden (BGE 134 I 125 E. 3.3 mit Hinweisen). Besteht eine Behörde aus einer bestimmten Zahl von Mitgliedern, so müssen - unter Vorbehalt abweichender Ordnung - beim Entscheid alle mitwirken. Wenn einzelne Mitglieder aus triftigem Grund in den Ausstand treten müssen, sind sie zu ersetzen. Jeder Verfahrensbeteiligte hat Anspruch darauf, dass die Behörde richtig zusammengesetzt ist, vollständig und ohne Anwesenheit Unbefugter entscheidet (BGE 127 I 128 E. 4b; René Rhinow und andere, Öffentliches Prozessrecht, 2. Aufl. 2010, Rz. 302 S. 108 und Rz. 470 S. 152). Ein gewisses Ermessen bei der Besetzung des Spruchkörpers sowie über den Beizug von Ersatzrichtern wird dadurch nicht ausgeschlossen. Allerdings soll die Besetzung wenn immer möglich nach sachlichen Kriterien erfolgen (BGE 105 Ia 172 E. 5b S. 178 ff.; s. auch Regina Kiener, Richterliche Unabhängigkeit, 2001, S. 376 ff.).
2.3 2.3.1 § 55 GOG lautet:
1 Das Kantonale Steuergericht besteht aus 7 Mitgliedern und 3 Ersatzrichtern.
2 Der Kantonsrat wählt den Präsidenten, den Vizepräsidenten, die übrigen Mitglieder und die Ersatzrichter.
3 Das Steuergericht ist beschlussfähig, wenn unter Einrechnung allfällig aufgebotener Ersatzrichter 5 Mitglieder anwesend sind.
§ 57 GOG überträgt im Übrigen dem Kantonalen Steuergericht die Kompetenz, seine Geschäftsführung in einem Reglement zu ordnen. Weitere Bestimmungen über die Organisation des Kantonalen Steuergerichts enthält das Gerichtsorganisationsgesetz nicht. § 125 Abs. 2 des Steuergesetzes des Kantons Solothurn vom 1. Dezember 1985 (StG) verweist für Bestand, Wahlart und Kompetenzen des Kantonalen Steuergerichts auf das GOG, enthält aber selbst keine Bestimmung darüber. § 49 des solothurnischen Verwaltungsrechtspflegegesetzes vom 15. November 1970 (VRG) bestimmt, dass die Gerichte vollzählig sein müssen, um gültig verhandeln zu können, und behält im Übrigen die Spezialgesetzgebung vor (Abs. 1 und 2).
Von der Kompetenzdelegation in § 57 GOG hat das Kantonale Steuergericht Gebrauch gemacht und (letztmals) am 9. Mai 2005 das "Geschäftsreglement des Kantonalen Steuergerichts" erlassen (nachfolgend: "Geschäftsreglement"). Danach entscheidet der Präsident alle Angelegenheiten, soweit die Zuständigkeit nicht anderweitig geregelt ist (§ 3 Abs. 3). § 6 Abs. 1 überträgt die Prozessleitung dem Präsidenten. Dieser setzt die Sitzungstage und die Traktandenlisten für die Sitzungen fest und entscheidet über die Beiziehung von Ersatzrichtern (§ 11 Abs. 1). Die Sitzungen sind nicht öffentlich (§ 11 Abs. 2; so auch § 48 Abs. 1 VRG für das kantonale Steuergericht). Gemäss § 12 Abs. 4 haben sich die Mitglieder an jeder Abstimmung zu beteiligen. Bei Stimmengleichheit gibt der Präsident den Stichentscheid (§ 12 Abs. 4). Die Namen der mitwirkenden Richter sind im Urteil anzugeben (§ 16 Abs. 2).
2.3.2 § 55 GOG ist eine unbestimmte Vorschrift. Die Normalbesetzung des Gerichts geht daraus nicht hervor. Der Vorschrift ist nur zu entnehmen, dass das Gericht aus sieben Mitgliedern und drei Ersatzrichtern besteht und es bei Anwesenheit von fünf Mitgliedern (einschliesslich der allfällig aufgebotenen Ersatzrichter) beschlussfähig ist. Sie schreibt aber nicht vor, wann mit fünf, sechs oder sieben Richtern zu tagen ist. Die Norm genügt insofern dem verfassungsmässigen Anspruch auf ein "durch Gesetz geschaffenes" Gericht nicht.
2.3.3 Fraglich ist, ob sich die Norm allenfalls verfassungskonform auslegen lässt. Hierfür müsste sich aus § 55 GOG mindestens ergeben, welches die Normalbesetzung für die Sitzungen des Kantonalen Steuergerichts ist. Alsdann könnten durch Reglement die weiteren für die Gerichtsorganisation notwendigen Vorschriften erlassen werden.
Mit fünf Richtern ist das Gericht gemäss § 55 GOG nur minimal besetzt und gerade beschlussfähig. Es handelt sich schon deshalb nicht um die Normalbesetzung. Die Besetzung mit sechs, d.h. mit einer geraden Anzahl Mitgliedern, ist für ein ordentliches staatliches Gericht - wie das Kantonale Steuergericht - ungewöhnlich. Einzig die Besetzung mit sieben Richtern (einschliesslich allfällig aufgebotener Ersatzrichter) kann als Normalbesetzung im Sinne von § 55 GOG angesehen werden.
2.3.4 Wenn somit die Besetzung der Richterbank mit sieben Richtern der Normalbesetzung entspricht, das Gesetz aber die Beschlussfähigkeit bereits bei Anwesenheit von fünf Richtern vorsieht, muss auch geregelt sein, wann das Gericht mit weniger als sieben Mitgliedern entscheiden darf. Einzelheiten können im Gerichtsreglement (vgl. hiervor E. 2.2) vorgesehen werden. Aufgrund der gesetzlichen Kompetenzdelegation (§ 57 GOG) ist es Sache des kantonalen Steuergerichts, bei Unbestimmtheit der gesetzlichen Ordnung die nötigen Vorschriften zu erlassen. Um die korrekte Besetzung der Richterbank überprüfen zu können, muss ersichtlich sein, wann das Gericht mit weniger als sieben Mitgliedern entscheiden darf. Das Geschäftsreglement des Kantonalen Steuergerichts enthält diesbezüglich aber keine Regel.
2.3.5 Im vorliegenden Fall tagte die Vorinstanz in der Besetzung mit sechs (ordentlichen) Richtern. Sie begründet aber mit keinem Wort, weshalb auf die Normalbesetzung verzichtet wurde. Der Grund für die besondere Besetzung im vorliegenden Fall müsste mindestens im Verfahrensprotokoll festgehalten sein. Ein solches hat die Vorinstanz nicht eingereicht. Da die numerische Besetzung des Gerichts sich nicht aus dem Gesetz oder aus dem Gerichtsreglement ergibt, müssen die Gründe für die Abweichung von der Normalbesetzung den Verfahrensbeteiligten zur Kenntnis gebracht werden. Das kann durch Begründung im Urteil erfolgen. Wurde das, wie im vorliegenden Fall, unterlassen, kann die fehlende Begründung unter Umständen auf Ersuchen nachgereicht oder auch noch im Rechtsmittelverfahren vor Bundesgericht im Rahmen der Vernehmlassung vorgebracht und der Mangel auf diese Weise geheilt werden. Vorliegend erfolgte nichts Derartiges. Der Anspruch der Beschwerdeführer auf den verfassungsmässigen Richter gemäss Art. 30 Abs. 1 BV ist demnach verletzt.
2.4 Das führt zur Gutheissung der Beschwerde und Aufhebung des angefochtenen Entscheids, ohne dass die weiteren Rügen zu prüfen wären. Die Vorinstanz wird in der Sache eine neue Entscheidung in gesetzmässiger Besetzung treffen müssen. Nötigenfalls hat sie zuvor ihr Geschäftsreglement anzupassen bzw. zu ergänzen.
3. Die Gerichtskosten sind dem Kanton Solothurn aufzuerlegen, da er unterliegt und es sich um seine Vermögensinteressen handelt (Art. 66 Abs. 1 und 4 BGG). Dieser hat die Beschwerdeführer für das bundesgerichtliche Verfahren zu entschädigen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, der Entscheid des Steuergerichts des Kantons Solothurn vom 8. März 2010 aufgehoben und die Sache zu neuem Entscheid im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Kanton Solothurn auferlegt.
3. Der Kanton Solothurn hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
4. Dieses Urteil wird den Beschwerdeführern, dem Steueramt des Kantons Solothurn, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 17. November 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann