Sachverhalt:
A. X._ ersuchte am 30. Juni 2008 um Erlass der direkten Bundessteuer 2004 in der Höhe von Fr. 105.--, der Staatssteuer 2005 in der Höhe von Fr. 36'781.-- und der direkten Bundessteuer 2005 in der Höhe von Fr. 44'610.60. Mit Verfügung vom 1. Juli 2008 teilte die Erlassabteilung des Finanzdepartements des Kantons Solothurn dem Steuerpflichtigen mit, für Steuerforderungen, die bereits in Betreibung gesetzt worden seien, könne nicht um Erlass ersucht werden. Auf das Erlassgesuch werde nicht eingetreten.
Eine weitere Eingabe des Steuerpflichtigen vom 28. Juli 2008, worin dieser erklärte, dass im Zeitpunkt der Veranlagung der fraglichen Steuern er sich im Ausland aufgehalten habe und sein Treuhänder krank gewesen sei, wurde nach Rücksprache mit dem Steuerpflichtigen als Rekurs und Beschwerde an das Kantonale Steuergericht Solothurn weitergeleitet. Dieses wies mit Urteil vom 1. Dezember 2008 Rekurs und Beschwerde ab.
B. Gegen den Entscheid des Kantonalen Steuergerichts Solothurn vom 1. Dezember 2008 führt X._ Beschwerde mit dem sinngemässen Begehren, dem Steuererlassgesuch für die Steuern 2004 und 2005 sei stattzugeben und es seien die fraglichen Steuern zu erlassen. Er beanstandet ausserdem, dass sein ehemaliger Treuhänder als Richter am angefochtenen Entscheid mitgewirkt habe.
Das Steuergericht des Kantons Solothurn beantragt Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Finanzdepartement des Kantons Solothurn liess sich nicht vernehmen.
Die Eidgenössische Erlasskommission für die direkte Bundessteuer beantragt, auf die subsidiäre Verfassungsbeschwerde sei nicht einzutreten. Es sei festzustellen, dass die Verfügung der Erlassabteilung des Finanzdepartements des Kantons Solothurn hinsichtlich der direkten Bundessteuer 2005 nichtig sei, und es sei das Erlassgesuch hinsichtlich dieser Steuer an die Eidgenössische Erlasskommission zu überweisen.

Erwägungen:
I. Staatssteuer
1. 1.1 Gegen Entscheide über die Stundung oder den Erlass von Abgaben ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten ausgeschlossen (Art. 83 lit. m BGG). In Betracht fällt einzig die subsidiäre Verfassungsbeschwerde (Art. 113 ff. BGG). Diese setzt voraus, dass der Beschwerdeführer durch den angefochtenen Entscheid in rechtlich geschützten Interessen betroffen ist (Art. 115 lit. b BGG). Da die subsidiäre Verfassungsbeschwerde nur zur Geltendmachung der Verletzung verfassungsmässiger Rechte offen steht (vgl. Art. 116 BGG), kann der Entscheid, mit dem ein Steuererlass verweigert worden ist, im Wesentlichen nur wegen Verletzung des verfassungsmässigen Verbots von Willkür (Art. 9 BV) angefochten werden. Dieses verschafft indessen für sich allein kein rechtlich geschütztes Interesse im Sinne von Art. 115 lit. b BGG (<ref-ruling> E. 6). Zur Willkürbeschwerde ist daher nur legitimiert, wer sich auf eine gesetzliche Norm berufen kann, die ihm im Bereich seiner betroffenen und angeblich verletzten Interessen einen Rechtsanspruch einräumt.
Ein solcher Anspruch auf Steuererlass besteht im Kanton Solothurn nicht: Gemäss § 182 Abs. 1 des Gesetzes über die Staats- und Gemeindesteuern des Kantons Solothurn vom 1. Dezember 1985 (StG/SO, in der Fassung vom 30. Juni 1999) können die geschuldeten Beträge ganz oder teilweise erlassen werden, wenn "der Steuerpflichtige durch besondere Verhältnisse wie Naturereignisse, Todesfall, Unglück, Krankheit, Arbeitslosigkeit, geschäftliche Rückschläge (...) in seiner Zahlungsfähigkeit stark beeinträchtigt" ist oder die "Bezahlung der Steuer, eines Zinses oder einer Busse zur grossen Härte würde". Das sind nur allgemeine Umschreibungen, die auf das Ermessen der Behörde verweisen. Auch die Steuerverordnung Nr. 11 vom 13. Mai 1986 über Zahlungserleichterungen, Erlass und Abschreibungen enthält nur die "Allgemeinen Grundsätze", welche für die Behörde wegleitend sein sollen, wie z.B. die Zukunftsaussichten oder die Zumutbarkeit von Einschränkungen in der Lebenshaltung. Weder aus § 182 Abs. 1 StG/SO noch aus der Steuerverordnung Nr. 11 ergibt sich, unter welchen Voraussetzungen dem Betroffenen der beantragte Vorteil zu gewähren ist (s. auch <ref-ruling> E. 2c S. 94 f.). Ein justiziabler Anspruch auf Steuererlass besteht im Kanton Solothurn daher nicht, wie das Bundesgericht wiederholt erkannt hat (Urteil 2D_21/2009 vom 19. Juni 2009; 2D_24/2009 vom 9. April 2009; 2D_1/2009 vom 8. Januar 2009; 2D_106/2008 vom 13. Oktober 2008; je mit weiteren Nachweisen). Das schliesst es aus, dass der Beschwerdeführer den Entscheid des Kantonalen Steuergerichts wegen Willkür anficht.
1.2 Trotz fehlender Legitimation zur Geltendmachung der Verletzung des Willkürverbots ist es zulässig, mit subsidiärer Verfassungsbeschwerde die Verletzung jener Parteirechte zu rügen, deren Missachtung auf eine formelle Rechtsverweigerung hinausläuft. Das rechtlich geschützte Interesse ergibt sich diesfalls aus der Berechtigung der Partei, am Verfahren teilzunehmen (so genannte Star-Praxis, vgl. <ref-ruling> E. 6.2 S. 198; <ref-ruling> E. 3c S. 312 f.). Eine solche Rüge erhebt der Beschwerdeführer. Er beanstandet, dass Richter Bargetzi am angefochtenen Entscheid mitgewirkt habe, obschon dieser befangen sei. Wie es sich damit verhält, ist im Folgenden zu prüfen.
2. 2.1 Nach Art. 30 Abs. 1 BV hat jede Person Anspruch darauf, dass ihre Sache von einem unbefangenen, unvoreingenommenen und unparteiischen Richter beurteilt wird. Es soll garantiert werden, dass keine sachfremden Umstände, welche ausserhalb des Prozesses liegen, in sachwidriger Weise zugunsten oder zulasten einer Partei auf das gerichtliche Urteil einwirken. Art. 30 Abs. 1 BV soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen (<ref-ruling> E. 2.1 S. 240 mit Hinweisen; ferner <ref-ruling> E. 2 S. 15).
Voreingenommenheit und Befangenheit in diesem Sinne werden nach der Rechtsprechung angenommen, wenn im Einzelfall Umstände vorliegen, die geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Bei dessen Beurteilung ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (<ref-ruling> E. 2.1, mit Hinweisen). Eine gewisse Besorgnis der Voreingenommenheit und damit Misstrauen in das Gericht kann namentlich dann objektiv begründet sein, wenn ein (nebenamtlicher) Richter in der Sache einer Prozesspartei bereits in anderer Weise tätig geworden ist, beispielsweise als Anwalt, Rechtsberater usw. (<ref-ruling> E. 4 S. 15 ff. mit Hinweisen).
2.2 Der Beschwerdeführer macht geltend, Richter Bargetzi habe am Entscheid über das Erlassgesuch mitgewirkt, obschon er für die gleichen Steuerjahre die Steuererklärungen für den Beschwerdeführer erstellt habe. Dabei soll es zu Unstimmigkeiten gekommen sein. Auch in weiteren Belangen erachtet sich der Beschwerdeführer durch seinen Treuhänder oder dessen Angestellte nicht richtig behandelt. Die Vorinstanz nahm in ihrer Vernehmlassung zum Vorwurf keine Stellung, bestritt ihn aber auch nicht. Unter diesen Gegebenheiten kann objektiv nicht von einem unbelasteten Verhältnis zwischen Richter und Beschwerdeführer ausgegangen werden und muss sich jener den Anschein der Befangenheit vorwerfen lassen. Zwar wird die Besetzung des Steuergerichts zweifellos öffentlich bekannt gegeben und ist grundsätzlich ein Ablehnungsbegehren vorab zu erheben. Bei sieben ordentlichen Mitgliedern musste der Beschwerdeführer aber nicht damit rechnen, dass eines der drei Ersatzmitglieder für die Sitzung aufgeboten würde, und schon gar nicht sein Treuhänder in der streitigen Steuersache (s. auch Isabelle Häner, in: Basler Kommentar, Bundesgerichtsgesetz, N. 2 zu Art. 36 BGG). Ein Ablehnungsbegehren des Beschwerdeführers vor dem Entscheid konnte daher nicht verlangt werden. Weil Richter Bargetzi am angefochtenen Entscheid mitwirkte, ist Art. 30 Abs. 1 BV verletzt und der angefochtene Entscheid hinsichtlich der Staatssteuer aufzuheben.
II. Direkte Bundessteuer
3. 3.1 Hinsichtlich der direkten Bundessteuer ist die Verfassungsbeschwerde gegen den kantonalen Entscheid im gleichen Umfang zulässig wie hinsichtlich der Staatssteuer.
3.2 Nach Art. 4 Abs. 1 der Verordnung des Eidgenössischen Finanzdepartements (EFD) vom 19. Dezember 1994 über die Behandlung von Erlassgesuchen für die direkte Bundessteuer (Steuererlassverordnung; SR 642.121) entscheidet die Eidgenössische Erlasskommission für die direkte Bundessteuer über Eingaben, mit denen um Erlass der direkten Bundessteuer im Umfang von mindestens Fr. 5'000.-- pro Jahr ersucht wird. Über Gesuche, mit denen um Erlass der direkten Bundessteuer von weniger als Fr. 5'000.-- pro Jahr ersucht wird, entscheidet die kantonale Erlassbehörde (Art. 4 Abs. 2 Steuererlassverordnung).
Daraus erhellt, dass hinsichtlich des Gesuchs um Erlass der direkten Bundessteuer 2005 in der Höhe von Fr. 44'610.60 das kantonale Finanzdepartement (Erlassabteilung) zum Entscheid über das Erlassgesuch nicht zuständig war. Das angefochtene Urteil und die zugrundeliegende Departementsverfügung sind wegen offensichtlicher Kompetenzüberschreitung nichtig und daher aufzuheben. Es ist Sache des Departements, das Erlassgesuch hinsichtlich der direkten Bundessteuer 2005 zuständigkeitshalber an die Eidgenössische Erlasskommission für die direkte Bundessteuer zu überweisen.
3.3 Zu entscheiden ist hinsichtlich des Gesuchs um Erlass der direkten Bundessteuer 2004 in der Höhe von Fr. 105.--. In Bezug auf diese Steuer ist die Beschwerde wegen Befangenheit des Gerichts (Art. 30 Abs. 1 BV) ebenfalls begründet und der angefochtene Entscheid aufzuheben.
4. Bei diesem Verfahrensausgang wird der Kanton Solothurn kostenpflichtig (Art. 65 und 66 Abs. 1 BGG). Entschädigungspflichtige private Kosten sind dem Beschwerdeführer nicht entstanden.

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Steuergerichts des Kantons Solothurn vom 1. Dezember 2008 und in Bezug auf die direkte Bundessteuer 2005 auch die Verfügung der Erlassabteilung des Finanzdepartements des Kantons Solothurn vom 1. Juli 2008 aufgehoben.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Kanton Solothurn auferlegt.
3. Dieses Urteil wird den Parteien, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 28. August 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Merkli Wyssmann