Sachverhalt:
A. Das Obergericht des Kantons Schaffhausen wies den Rekurs und die Beschwerde von B._ und A.X._ betreffend die Kantons- und Gemeindesteuern sowie direkte Bundessteuer 2006 je mit Entscheid vom 25. Januar 2008 ab. Die hiergegen von den Steuerpflichtigen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten hiess das Bundesgericht gut, hob die Entscheide des Obergerichts vom 25. Januar 2008 auf und wies die Sache zu neuer Veranlagung im Sinne der Erwägungen an die Steuerverwaltung des Kantons Schaffhausen und zur Neuverlegung der Kosten im kantonalen Rekurs- und Beschwerdeverfahren an das Obergericht des Kantons Schaffhausen zurück (Urteil 2C_180/2008 / 2C_181/2008 vom 16. Februar 2009)
Mit Beschluss vom 30. April 2009 auferlegte das Obergericht des Kantons Schaffhausen die Kosten des Rekursverfahrens, bestehend aus einer reduzierten Staatsgebühr von Fr. 1'500.--, und diejenigen des Beschwerdeverfahrens, bestehend aus einer reduzierten Staatsgebühr von Fr. 750.--, B._ und A.X._. Zudem verpflichtete es die kantonale Steuerverwaltung, die Beschwerdeführer und Rekurrenten mit insgesamt Fr. 200.-- prozessual zu entschädigen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen B._ und A.X._, der Entscheid des Obergerichts des Kantons Schaffhausen vom 30. April 2009 sei aufzuheben, es seien ihnen keine Kosten aufzuerlegen und die Kantonale Steuerverwaltung Schaffhausen sei zu verpflichten, ihnen für das kantonale Verfahren Fr. 500.-- als Prozessentschädigung zu bezahlen.
Die Steuerkommission des Kantons Schaffhausen schliesst auf Abweisung der Beschwerde. Das Obergericht des Kantons Schaffhausen und die Eidgenössische Steuerverwaltung verzichteten auf Vernehmlassung.
Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher gerichtlicher Entscheid betreffend die Kantons-, Gemeinde- und direkte Bundessteuer. Gegen solche Entscheide kann Beschwerde in öffentlich-rechtlichen Angelegenheiten geführt werden (Art. 82 lit. a, 86 lit. d und Abs. 2 BGG). Die Beschwerdeführer sind durch die Kostenauflage beschwert (Art. 89 Abs. 1 BGG). Zwar ist die mit dem Urteil des Bundesgericht zurückgewiesene Sache noch bei der Steuerverwaltung pendent. Diese Rückweisung dient indessen lediglich der arithmetischen Ermittlung der Steuerfaktoren, welche die Steuerverwaltung gemäss den bundesgerichtlichen Anweisungen noch durchzuführen hat. Der Rückweisungsentscheid ist insofern einem Endurteil gleichzustellen, so dass die Beschwerde auch unter diesem Gesichtswinkel zulässig bleibt (vgl. BGE 134 II 124 E. 1.3 S. 127 mit Hinweisen; Urteil 2C_475/2008 E. 1.4; Urteil 2C 258/2008 vom 17. März 2009 E. 3.3).
1.2 Mit der Beschwerde kann die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Allerdings steht beim Entscheid über die Verlegung der Kosten und Entschädigung der kantonalen Instanz ein Ermessensspielraum zu, den das Bundesgericht nur auf Rechtsverletzung, d.h. Ermessensüberschreitung oder -missbrauch, hin prüft (s. auch Urteil des Bundesgerichts 2A.191/2005 vom 2. September 2005 E. 1.2, in: sic! 3/2006 S. 170). Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen nur geltend gemacht werden, der angefochtene Entscheid verstosse gegen Normen des Bundesrechts (Art. 95 lit. a BGG), insbesondere über die Steuerharmonisierung. Inwiefern das der Fall sein soll, ist in der Beschwerdebegründung in gedrängter Form darzulegen (Art. 42 Abs. 1 BGG). Im Übrigen kann die Auslegung und Anwendung des kantonalen Rechts nur im Lichte der verfassungsmässigen Rechte und Grundsätze, namentlich des Verbots von Willkür (Art. 9 BV), oder der kantonalen verfassungsmässigen Rechte (Art. 95 lit. c BGG) geprüft werden. Entsprechende Rügen sind ausdrücklich zu erheben (Art. 106 Abs. 2 BGG).
I. Direkte Bundessteuer
2. 2.1 Streitgegenstand der vorliegenden Beschwerde ist allein noch die Verlegung der Verfahrens- und Parteikosten im Verfahren vor dem kantonalen Obergericht als Rekursinstanz für die Staats- und Gemeindesteuern und die direkte Bundessteuer. Was Letztere betrifft, so ist die Verteilung der Kosten des Verfahrens vor der kantonalen Rekurskommission in Art. 144 Abs. 1 - 3 und 5 DBG (SR 642.11) geregelt. Gemäss Art. 144 Abs. 1 DBG werden die Kosten des Verfahrens "der unterliegenden Partei auferlegt; wird die Beschwerde teilweise gutgeheissen, so werden sie anteilmässig aufgeteilt". Die Höhe dieser Kosten wird durch das kantonale Recht bestimmt (Art. 144 Abs. 5 DBG).
2.2 In der Sache war umstritten, wie der Betrag von USD 305'630.--, welchen die Credit Suisse Life dem Beschwerdeführer aus dem Rückkauf des am 20. Dezember 2000 geschlossenen und am 16. Dezember 2005 gekündigten Leibrentenvertrages am 18. Januar 2006 ausbezahlte, steuerlich zu behandeln war. Die Veranlagungsbehörde erfasste den Rückkaufsbetrag von umgerechnet Fr. 400'375.30 in der Höhe von 40 Prozent als Einkommen aus Leibrente im Sinne von Art. 22 Abs. 3 DBG zusammen mit dem übrigen Einkommen zum Satz, der sich ergäbe, wenn anstelle der Kapitalzahlung eine jährliche Rente von USD 17'112.-- ausgerichtet worden wäre. Die Vorinstanz bestätigte diese Veranlagung.
Das Bundesgericht kam in seinem Urteil vom 16. Februar 2009 demgegenüber zum Schluss, dass die Rente unter Berücksichtigung des Rentenaufschubs von fünf Jahren im Zeitpunkt der Kündigung durch den Beschwerdeführer noch nicht zu laufen begonnen habe und das Rentenstammrecht noch unangetastet sei. Es rechtfertige sich unter diesen Umständen nicht, auf den Rückkauf der Versicherung, die weniger als fünf Jahre gedauert habe, Art. 22 DBG zur Anwendung zu bringen und die Kapitalrückzahlung zu 40 Prozent zu besteuern. Die Rückkaufssumme sei vielmehr nur mit ihrer Ertragskomponente der Einkommenssteuer zu unterstellen. Die gesetzliche Grundlage hierfür finde sich in Art. 20 Abs. 1 in Verbindung mit Art. 16 Abs. 1 DBG. Da die Rentenzahlungen noch nicht zu laufen begonnen hätten, ergäben sich bei der Berechnung der Ertragskomponente keine besonderen Schwierigkeiten. Nicht zutreffend sei die Feststellung des Beschwerdeführers, er habe einen Verlust erlitten. In der Rechnungswährung (USD) habe sich vielmehr ein Ertrag ergeben.
2.3 Wenn daher die Vorinstanz gestützt auf diese bundesgerichtlichen Erwägungen die Beschwerdeführer als teilweise unterliegend betrachtete und ihnen die Verfahrenskosten zu rund drei Achtel auferlegte, hat sie weder Art. 144 DBG verletzt noch ihr Ermessen überschritten. Im kantonalen Verfahren hatten die Beschwerdeführer verlangt, von jeglicher Steuer auf der Rückkaufssumme befreit zu werden, womit sie im Ergebnis nicht durchgedrungen sind. Ihre Ansicht, das Bundesgericht habe ihre Beschwerde vorbehaltslos und vollumfänglich gutgeheissen, trifft offensichtlich nicht zu. Das Bundesgericht hielt vielmehr fest, dass die Rückkaufssumme in der Höhe der Ertragskomponente beim Einkommen zu erfassen sei. Die Beschwerdeführer lassen ausser Acht, dass das Bundesgericht im Urteil, Dispositiv Ziff. 2 und 3, die Sache zur Neuveranlagung "im Sinne der Erwägungen" an die Steuerverwaltung des Kantons Schaffhausen zurückgewiesen hat.
Aus den Urteilserwägungen geht auch klar hervor, dass die Ertragskomponente in der Fremdwährung (USD) zu ermitteln und zum Tageskurs in Schweizer Franken umzurechnen ist. Unbehelflich ist daher der Einwand, in der Heimwährung (SFr.) hätten die Beschwerdeführer insgesamt - Einmalprämie abzüglich Rückkaufsbetrag - einen Verlust erlitten. Es handelt sich um einen Verlust auf dem investierten Kapital, der aber einkommenssteuerrechtlich unbeachtlich ist.
Soweit sich die Beschwerdeführer auf das Kreisschreiben Nr. 15 der Eidgenössischen Steuerverwaltung vom 7. Februar 2007, Ziff. 3.2, für die gegenseitige Verrechnung von Verlusten und Gewinnen aus Obligationen mit überwiegender Einmalverzinsung derselben Periode berufen, ist darauf hinzuweisen, dass das vorliegende Verfahren nicht dazu dienen kann, über die rechtskräftig entschiedene Frage der Besteuerung der Rückkaufssumme erneut zu befinden. Abgesehen davon wäre das genannte Kreisschreiben hier nicht anwendbar. Es geht nicht um einen Fall von Art. 20 Abs. 1 lit. b DBG, d.h. um Obligationen mit überwiegender Einmalverzinsung, sondern um Einkommen aus einer Versicherung. Darauf finden Art. 22 Abs. 3 DBG bzw. aufgrund der Besonderheiten des vorliegenden Falls Art. 20 Abs. 1 in Verbindung mit Art. 16 Abs. 1 DBG Anwendung.
2.4 Für die Zusprechung von Parteikosten gilt Art. 64 Abs. 1-3 VwVG sinngemäss (Art. 144 Abs. 4 DBG). Gemäss Absatz 1 kann die Beschwerdeinstanz der ganz oder teilweise obsiegenden Partei von Amtes wegen oder auf Begehren eine Entschädigung für ihr erwachsene notwendige und verhältnismässig hohe Kosten zusprechen. Es ist daher nicht zu beanstanden, dass die Vorinstanz den Beschwerdeführern für das Beschwerdeverfahren lediglich eine reduzierte Parteientschädigung zugesprochen hat. Betragsmässig ist die (reduzierte) Parteientschädigung nicht bestritten.
II. Kantons- und Gemeindesteuer
3. 3.1 Hinsichtlich der durch die Kantone und Gemeinden zu erhebenden direkten Steuern regelt Art. 50 StHG das Verfahren vor der kantonalen unabhängigen Justizbehörde nur summarisch. Für die Kostenverlegung enthält das StHG keine Regelung. Es ist daher Sache des kantonalen Rechts, eine entsprechende Ordnung vorzusehen (Klaus A. Vallender in: Kommentar zum Schweizerischen Steuerrecht I/1, 2. Aufl. 2002, N. 21 zu Art. 50 StHG). Hinsichtlich der Kosten und Parteientschädigung für das Rekursverfahren enthalten Art. 163 Abs. 1, 2 und 5 des Gesetzes über die direkten Steuern des Kantons Schaffhausen (StG) die massgeblichen Bestimmungen. Inwiefern diese Vorschriften vorliegend willkürlich oder sonstwie in verfassungswidriger Weise angewendet worden sein sollen, wird in der Beschwerde nicht begründet (Art. 106 Abs. 2 BGG und dazu vorn E. 1.2). Es ist darauf nicht weiter einzugehen. Soweit sich die Beschwerdeführer darauf berufen wollten, sie hätten im kantonalen Verfahren vollumfänglich obsiegt, könnte dieser Auffassung nach den bisherigen Ausführungen nicht gefolgt werden.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (Art. 65 und 66 Abs. 1 BGG). Sie haften hierfür solidarisch (Art. 66 Abs. 5 BGG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- wird den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und der Eidgenössische Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 4. Februar 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Wyssmann