Sachverhalt:
A. Das Bundesgericht hob am 12. August 2008 in Gutheissung einer Beschwerde von X._ und Y._ einen Entscheid des Steuergerichts des Kantons Solothurn auf und bestätigte den zuvor ergangenen Einspracheentscheid der Veranlagungsbehörde Olten-Gösgen (Verfahren 2C_77/2008). Es erklärte ausserdem in Ziffer 4 des Dispositivs, das Steuergericht müsse in einem Zusatzurteil über die Kosten des vorinstanzlichen Verfahrens neu befinden.
Unter Bezugnahme auf dieses Urteil entschied das Steuergericht am 1. Dezember 2008, dass für das vorinstanzliche Verfahren keine Kosten erhoben würden. Zur Frage, ob X._ und Y._ eine Parteientschädigung zuzusprechen sei, äusserte es sich nicht, obwohl diese mit Schreiben vom 11. November 2008 eine solche geltend gemacht hatten.
B. X._ und Y._ beantragen dem Bundesgericht mit Beschwerde, den Kanton Solothurn zur Bezahlung einer Entschädigung von Fr. 4'967.45 "für die vorinstanzlichen Drittkosten" und einer weiteren Entschädigung nach dem Ermessen des Gerichts "für die eigenen Aufwendungen im vorinstanzlichen Verfahren" zu verpflichten.
Das Steuergericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Das Finanzdepartement und das Steueramt des Kantons Solothurn sowie die ebenfalls zur Vernehmlassung eingeladene Eidgenössische Steuerverwaltung haben auf eine Stellungnahme verzichtet.

Erwägungen:
1. Das Bundesgericht hat im erwähnten Urteil vom 12. August 2008 zwar in der Sache ein Urteil gefällt, aber die Kosten des vorinstanzlichen Verfahrens nicht selber geregelt. Vielmehr hat es das Steuergericht angewiesen, darüber neu zu befinden. Unter Kosten waren die Gerichtskosten und die Parteientschädigungen zu verstehen, wie aus dem Verweis auf Art. 67 und 68 BGG in den Urteilserwägungen hervorgeht (vgl. auch den Titel "Kosten" vor <ref-law>, der Gerichtskosten und Parteientschädigungen umfasst). Das Steuergericht hätte deshalb ebenfalls prüfen müssen, ob den Beschwerdeführern für das vorinstanzliche Verfahren eine Parteientschädigung zusteht. Es erübrigt sich, die Sache für diese Prüfung nochmals an die Vorinstanz zu überweisen, da das Bundesgericht gemäss <ref-law> auch über diesen Punkt selber entscheiden kann.
2. 2.1 Aufgrund ihres Obsiegens kann den Beschwerdeführern, soweit die Bundessteuern in Frage stehen, eine Entschädigung notwendiger und verhältnismässig hoher Kosten zugesprochen werden (<ref-law> in Verbindung mit <ref-law>). Mit Bezug auf die Staatssteuern sieht § 163 Abs. 4 des Solothurner Gesetzes vom 1. Dezember 1985 über die Staats- und Gemeindesteuern (Steuergesetz; StG/SO) eine Entschädigung an die obsiegende Partei in besonderen Fällen vor.
2.2 Die Beschwerdeführer verlangen zunächst eine Entschädigung von Fr. 4'967.45. Dieser Betrag entspricht der Differenz zwischen der Rechnung des Treuhandbüros, das sie vor Bundesgericht vertrat, und den ihnen für dieses Verfahren vom Bundesgericht zugesprochenen Fr. 2'500.--. Wie aus der Rechnung hervorgeht, betrifft sie nur Aufwendungen, die im Zeitraum nach dem vorinstanzlichen Verfahren anfielen. Dafür können die Beschwerdeführer neben den bereits zugesprochenen Fr. 2'500.-- keine weitere Entschädigung beanspruchen.
2.3 Den Aufwand für das Verfahren vor dem Steuergericht beziffern die Beschwerdeführer nicht, sondern beantragen eine Entschädigung nach Ermessen des Gerichts. Die im vorinstanzlichen Verfahren aufgeworfenen Rechtsfragen waren nicht einfach und der Aufwand für die Vertretung dementsprechend nicht ganz gering, auch wenn lediglich die Antwort auf einen Rekurs und eine Beschwerde zu erstellen war. Es rechtfertigt sich daher im Lichte der zitierten massgeblichen Bestimmungen, den Beschwerdeführern für das vorinstanzliche Verfahren eine Parteientschädigung von Fr. 1'000.-- zuzusprechen.
3. Die Beschwerde ist demnach teilweise gutzuheissen, und es ist der Kanton Solothurn zur Bezahlung der erwähnten Parteientschädigung zu verpflichten.
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten je zur Hälfte den Beschwerdeführern und dem Kanton Solothurn aufzuerlegen (<ref-law>). Praxisgemäss haben die nicht durch einen Vertreter handelnden Beschwerdeführer keinen Anspruch auf eine Parteientschädigung für das bundesgerichtliche Verfahren.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen.
2. Der Kanton Solothurn hat die Beschwerdeführer für das vorinstanzliche Verfahren mit Fr. 1'000.-- zu entschädigen.
3. Die Gerichtskosten werden im Betrag von Fr. 500.-- den Beschwerdeführern und im Betrag von Fr. 500.-- dem Kanton Solothurn auferlegt.
4. Dieses Urteil wird den Parteien, dem Kantonalen Steuergericht Solothurn sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 9. Juni 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber
Müller Küng