Sachverhalt:
A. D._ schloss im Jahre 2000 bei der Credit Suisse Life eine Leibrentenversicherung in US-Dollar ab. Die Einmaleinlage belief sich auf USD 253'659.--. Versicherungsbeginn war der 20. Dezember 2000. Die vereinbarte monatliche Rente betrug USD 1'426.--, zahlbar erstmals am 20. Dezember 2005.
Da die Performance der Versicherung nicht dem entsprach, was sich D._ vorgestellt hatte, reichte er am 16. Dezember 2005 ein Gesuch um Rückkauf der Versicherung ein. Am 18. Januar 2006 bezahlte die Versicherungsgesellschaft D._ den Betrag von USD 305'630.-- aus.
Im Rahmen der Veranlagung 2006 für die Kantons-, Gemeinde- und direkte Bundessteuer erfasste die Kantonale Steuerverwaltung Schaffhausen den Rückkaufsbetrag von umgerechnet Fr. 400'375.30 im Umfang von 40 Prozent zusammen mit dem übrigen Einkommen zum Satz, der sich ergäbe, wenn anstelle der Kapitalzahlung eine jährliche Rente von USD 17'112.-- ausgerichtet worden wäre (Art. 22 Abs. 3, 37 DBG [SR 642.11]; Art. 24 Abs. 3, 39 des Steuergesetzes des Kantons Schaffhausen vom 20. März 2000 [StG/SH]). Eine Einsprache hiess die Steuerkommission Schaffhausen am 26. Oktober 2006 beim satzbestimmenden Einkommen teilweise gut. Insgesamt belief sich das steuerbare Einkommen auf Fr. 403'100.-- (satzbestimmend Fr. 251'500.--) für die Kantons- und Gemeindesteuern und auf Fr. 408'200.-- (satzbestimmend Fr. 256'600.--) für die direkte Bundessteuer.
B. Einen Rekurs hinsichtlich der Kantons- und Gemeindesteuern wies das Obergericht des Kantons Schaffhausen mit Entscheid 66/2007/31 vom 25. Januar 2008 ab. Ebenso die Beschwerde hinsichtlich der direkten Bundessteuer mit Entscheid 66/2007/33 vom gleichen Tag.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen die Steuerpflichtigen, es sei der Entscheid des Obergerichts des Kantons Schaffhausen betreffend die direkte Bundessteuer aufzuheben und das steuerbare Einkommen für das Steuerjahr 2006 auf Fr. 248'100.-- (satzbestimmend Fr. 248'100.--) festzusetzen. Sie bemängeln die Besteuerung des Rückkaufsbetrages mit 40 Prozent und machen geltend, die Leistung aus Rückkauf der Versicherung dürfe lediglich mit der Ertragskomponente besteuert werden. Angesichts eines Verlusts aus Rückkauf von Fr. 38'673.-- (Fr. 400'375.-- abzüglich Fr. 439'048.--) könne im besten Fall ein Minuseinkommen besteuert werden (Beschwerde 2C_181/2008).
Eine Beschwerde mit im Wesentlichen gleichlautenden Argumenten, bezogen auf Art. 7 Abs. 1ter und 2 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG, SR 642.14), reichten die Steuerpflichtigen auch gegen den Entscheid über die Kantons- und Gemeindesteuern ein. Sie beantragen, es sei das steuerbare Einkommen auf Fr. 234'100.-- (satzbestimmend Fr. 243'100.--) festzusetzen (Beschwerde 2C_180/2008).
Die Kantonale Steuerkommission Schaffhausen und die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerden. Das Obergericht des Kantons Schaffhausen verzichtete auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerden in öffentlich-rechtlichen Angelegenheiten sind unter Einhaltung der gesetzlichen Frist (Art. 100 Abs. 1 BGG) und Form (Art. 42 BGG) eingereicht worden und richten sich gegen die von einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d BGG) gefällten Endentscheide (Art. 90 BGG) in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Die Beschwerdeführer sind durch die angefochtenen Entscheide besonders berührt und haben ein schutzwürdiges Interesse an deren Aufhebung oder Änderung (Art. 89 Abs. 1 BGG). Die Beschwerde steht auch hinsichtlich der kantonalen Steuern offen, soweit die Verletzung von Bundesrecht gerügt wird (vgl. Art. 95 lit. a-c BGG; BGE 131 II 553 E. 4.2). Auf die Beschwerden ist einzutreten.
Die beiden Beschwerden betreffen den gleichen Steuersachverhalt und die gleichen Parteien. Es rechtfertigt sich deshalb, die beiden Beschwerdeverfahren zu vereinigen und über die Beschwerden im gleichen Urteil zu befinden (vgl. Art. 71 BGG in Verbindung mit Art. 24 BZP; BGE 128 V 192 E. 1 S. 194 mit Hinweisen).
2. Die Beschwerdeführer rügen in beiden Verfahren eine Verletzung ihres Anspruchs auf rechtliches Gehör. Sie bemängeln, dass die Vorinstanz für die Begründung, weshalb der Rückkauf während der Aufschubszeit zu 40 Prozent zum Rentensatz zu besteuern sei (Art. 22 Abs. 3, 37 DBG bzw. Art. 24 Abs. 3, 39 StG/SH) auf lediglich 71⁄2 Zeilen begründe und sich mit ihren Argumenten in keiner Weise auseinandersetze.
Aus dem Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV folgt die grundsätzliche Pflicht der Behörde, ihren Entscheid zu begründen. Das bedeutet indessen nicht, dass sich die Behörde mit jeder tatbeständlichen Behauptung und mit jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Der Bürger soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat, damit er den Entscheid sachgerecht anfechten kann. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt sein, von denen sich die Behörde leiten liess und auf welche sie ihren Entscheid stützt (grundlegend BGE 112 Ia 107 E. 2b S. 110; ferner 133 I 270 E. 3.1 S. 277 mit weiteren Hinweisen).
In diesem Lichte betrachtet, erscheint die Begründung in den angefochtenen Entscheid in der Tat als knapp. Es geht daraus aber immerhin hervor, dass sich die Vorinstanz auf BGE 131 I 409 (= StE 2005 A 24.35 Nr. 4) und Meinungen in der Literatur abstützte und im Übrigen die Besteuerung von Kapitalleistungen aus dem Rückkauf von Rentenversicherungen "in konsequenter Anwendung des pauschalierenden Systems" zu 40 Prozent als Einkommen als zulässig erachtete. Diese Begründung lässt erkennen, dass sich die Vorinstanz der Betrachtungsweise der Veranlagungsbehörde und der kantonalen Steuerkommission anschloss und keinen genügenden Grund sah, um von der Rechtsprechung abzuweichen. Die Beschwerdeführer hatten im Verfahren vor der Vorinstanz im Ergebnis (sinngemäss) geltend gemacht, es handle sich weder um Einkommen aus gebundener Vorsorge (Säule 3a) noch aus Leibrente (Säule 3b) und die Besteuerung einer Ertragskomponente angesichts des entstandenen Verlustes sei "geradezu absurd". Jedenfalls zu diesen beiden Einwänden hat die Vorinstanz, auch wenn die Begründung sehr kurz ausgefallen ist, unmissverständlich Stellung bezogen und die Sicht der kantonalen Steuerkommission geschützt. Das war auch für die Beschwerdeführer erkennbar und ermöglichte es ihnen, den Entscheid sachgerecht anzufechten, was sie mit der vorliegenden Beschwerde getan haben. Der Anspruch auf rechtliches Gehör ist nicht verletzt.
I. Direkte Bundessteuer
3. 3.1 Gemäss Art. 16 Abs. 1 DBG unterliegen der Einkommenssteuer alle wiederkehrenden und einmaligen Einkünfte. Art. 20 Abs. 1 lit. a DBG erklärt namentlich alle Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie im Erlebensfall oder bei Rückkauf als steuerbar, sofern diese nicht der Vorsorge dienen. Als der Vorsorge dienend gilt nach dem zweiten und dritten Satz von Art. 20 Abs. 1 lit. a DBG die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall ist die Leistung steuerfrei (s. auch Art. 24 lit. b DBG). Diese Vorschriften betreffen ausdrücklich die Kapitalversicherungen.
Nach Art. 22 Abs. 1 DBG sind ferner steuerbar: "alle Einkünfte aus der Alters-, Hinterlassenen- und Invalidenversicherung, aus Einrichtungen der beruflichen Vorsorge und aus anerkannten Formen der gebundenen Selbstvorsorge, mit Einschluss der Kapitalabfindungen und Rückzahlungen von Einlagen, Prämien und Beiträgen". Es handelt sich um die Einkünfte aus der Säule 1, 2 und 3a entsprechend der Dreisäulen-Konzeption (Art. 111 Abs. 1 BV, Art. 34quater Abs. 1 aBV; vgl. Richner/Frei/Kaufmann, Handkommentar zum DBG, 2003, N. 1 und 4 zu Art. 22 DBG). Diese Einkünfte werden voll besteuert, weil auch die Prämien, Einlagen und Beiträge zum Erwerb dieser Ansprüche vollumfänglich zum Abzug zugelassen werden (Art. 33 Abs. 1 lit. d und e DBG). Es handelt sich um das sog. Waadtländer-Modell, das mit dem Inkrafttreten der steuerrechtlichen Bestimmungen in Art. 81-83 BVG (SR 831.40) übernommen wurde (vgl. BGE 130 I 205 E. 7 S. 212 ff.; 131 I 409 E. 5.1 S. 414 f.).
Lediglich zu 40 Prozent steuerbar sind nach Art. 22 Abs. 3 DBG "Leibrenten sowie Einkünfte aus Verpfründung". Es geht um Formen der nicht gebundenen Selbstvorsorge (Säule 3b). Diese Renten und Einkünfte werden nicht vollumfänglich als Einkommen besteuert, weil die zu ihrer Finanzierung aufgewendeten Einlagen, Prämien und Beiträge im Rahmen des allgemeinen Abzuges für Versicherungsprämien und Zinsen von Sparkapitalien gemäss Art. 33 Abs. 1 lit. g nur beschränkt oder überhaupt nicht abgezogen werden können und weil sie eine grundsätzlich nicht steuerbare Kapitalrückzahlungskomponente enthalten. Die Abzugsmöglichkeit ist beschränkt, weil der Pauschalabzug insbesondere auch für die Prämien der Krankenkasse, der nicht obligatorischen Unfallversicherung und für die Zinsen von Sparkapitalien beansprucht werden muss (BGE 130 I 205 E. 7.6.1 S. 216). Es handelt sich um eine pauschalierende Lösung, wie sie bereits im Bundesratsbeschluss über die direkte Bundessteuer enthalten war (vgl. Art. 21bis Abs. 1 BdBSt und dazu Ernst Känzig, Wehrsteuer [Direkte Bundessteuer], 2. Aufl. 1982, N. 130 zu Art. 21 Abs. 1 lit. c BdBSt).
3.2 Art. 22 Abs. 3 DBG spricht nur von Leibrenten (und Einkünften aus Verpfründung). Die Praxis versteht den Begriff jedoch umfassend. Sie zählt dazu namentlich auch Rentenverträge, die dem Bundesgesetz über den Versicherungsvertrag (VVG, SR 221.229.1) unterstehen (vgl. Art. 520 OR). Die Leibrente im Sinne von Art. 516 ff. OR ist eine an das Leben der Person geknüpfte Verpflichtung zur Leistung zeitlich wiederkehrender Zahlungen zumeist in Form von Geld an den Rentengläubiger. Stirbt die versicherte Person, endet die Rentenverpflichtung und fällt ein noch vorhandenes Kapital an den Rentenschuldner, sofern keine Rückgewähr verabredet ist (Urteil 2A.366/2000 vom 15. November 2001 E. 2b, in: StE 2002 B 26.12 Nr. 6; Urteil 2C_596/2007 vom 24. Juni 2008 E. 3.1, in: RDAF 2008 II p. 390; je mit Hinweisen).
Die Leibrente kann auch abgekürzt (temporär) abgeschlossen werden in dem Sinne, dass sie nach einer bestimmten Zeit ohnehin endet, sofern die Person nicht vorher stirbt. Voraussetzung ist jedoch, dass aufgrund des Alters mit dem vorzeitigen Versterben mit einer gewissen Wahrscheinlichkeit zu rechnen ist. Andernfalls liegt faktisch eine "Zeitrente" vor. Eine solche auf eine bestimmte Zeit oder bis zu einem bestimmten Alter zu bezahlende Rente ist indessen keine Leibrente. Es handelt sich um eine reine Kapitalanlage, bei welcher ein um den Ertragsanteil (Zinsanteil) vergrössertes Kapital zurückbezahlt wird (Richner/Frei/Kaufmann, a.a.O., N. 46 zu 22 DBG). Sie fällt mit der Ertragskomponente unter Art. 20 Abs. 1 lit. a DBG (BGE 131 I 409 E. 5.5.7 S. 422 mit Hinweisen; Urteil 2C_596/2007 vom 24. Juni 2008 E. 3.4, in: RDAF 2008 II p. 390).
4. Vorliegend geht es nicht um Rentenbetreffnisse, die besteuert werden, sondern um eine Kapitalleistung beim Rückkauf einer Rentenversicherung mit Einmalprämie. Zu prüfen ist, wie diese steuerlich zu behandeln ist.
4.1 Kapitalauszahlungen kommen vor beim Rückkauf der Versicherung oder in Form der sog. Rückgewähr, wenn beim vorzeitigen Tod des Versicherten das Kapital nicht an den Versicherer fällt. Solche Kapitalzahlungen können weder unter Art. 20 Abs. 1 lit. a noch Art. 24 lit. b DBG subsumiert werden, weil diese Bestimmungen nur die (rückkaufsfähigen) Kapitalversicherungen, nicht auch die Rentenversicherungen betreffen (vgl. E. 3.1 hiervor; Gladys Laffely Maillard, in: Commentaire romand, Impôt fédéral direct, N. 31 zu Art. 22; Peter Locher, Kommentar zum DBG, 2001, N. 26 zu Art. 24; Linda Peter-Szerenyi, Der Begriff der Vorsorge im Steuerrecht, 2001, S. 337).
Obschon das DBG zwischen Kapitalversicherung und Rentenversicherung unterscheidet, definiert es diese beiden Begriffe nicht näher. Die Kapitalversicherung unterscheidet sich von der Rentenversicherung in der Art der Auszahlung. Bei der Kapitalversicherung hat der Versicherer im Versicherungsfall ein Kapital zu zahlen, während bei der Rentenversicherung ab dem vereinbarten Termin eine Rente geschuldet ist (Urs R. Behnisch, Zur steuerlichen Behandlung des Rückkaufs und der Prämienrückgewähr von Rentenversicherungen, ASA 74 S. 101; Maute/Steiner/Rufener, Steuern und Versicherungen, 1999, S. 263 unten; Richner/Frei/Kaufmann, a.a.O., N. 59 zu Art. 22 DBG). Da jedoch jede Rente in ein Kapital und jedes Kapital in eine Rente umgewandelt werden kann, kann es für die Unterscheidung zwischen Kapital- und Rentenversicherung - die übrigens im VVG (SR 221.229.1) nicht anzutreffen ist - auf die effektive Auszahlungsart nicht ankommen. Abzustellen ist somit darauf, ob eine Renten- oder eine Kapitalversicherung abgeschlossen worden ist (vgl. Urteil 2A.40/1998 vom 10. August 1998 E. 4c/aa, in: StE 1999 B 28 Nr. 6 = RDAF 1998 II S. 462; Urteil 2C_596/2007 vom 24. Juni 2008 E. 3.1, in: RDAF 2008 II p. 390; anderer Ansicht Behnisch, Steuerliche Behandlung, a.a.O., S. 116 mit Hinweis auf BGE 107 Ib 315 E. 3b S. 321).
Kapitalzahlungen aus Rentenversicherungen fallen auch nicht unter Art. 22 Abs. 1 DBG. Die Vorschrift erfasst "alle Einkünfte aus der Alters-, Hinterlassenen- und Invalidenversicherung, aus Einrichtungen der beruflichen Vorsorge und aus anerkannten Formen der gebundenen Selbstvorsorge, mit Einschluss der Kapitalabfindungen und Rückzahlungen von Einlagen, Prämien und Beiträgen" und somit nach dem Wortlaut alle Einkünfte aus der ersten und der zweiten Säule sowie aus der gebundenen Selbstvorsorge, Säule 3a. Kapitalzahlungen aus Rentenversicherungen können auch nicht den "einmaligen oder wiederkehrenden Zahlungen bei Tod sowie für bleibende körperliche oder gesundheitliche Nachteile" gemäss Art. 23 lit. b DBG gleichgestellt werden. Diese Vorschrift ist auf eigentliche Risikoversicherungen zugeschnitten (vgl. BGE 131 I 409 E. 5.5.5).
4.2 Fallen Art. 20 Abs. 1 lit. a und 22 Abs. 1 DBG als Besteuerungsgrundlage für Kapitalleistungen aus Rentenversicherungen ausser Betracht, ist die Anwendbarkeit von Art. 22 Abs. 3 DBG zu prüfen. Diese Vorschrift ("Leibrenten sowie Einkünfte aus Verpfründung sind zu 40 Prozent steuerbar") nennt die Kapitalleistungen aus Leibrenten nicht ausdrücklich, schliesst sie aber auch nicht aus.
Bereits im Urteil 2A.40/1998 vom 10. August 1998 (in: StE 1999 B 28 Nr. 6 und RDAF 1998 II S. 462, E. 4c) hatte das Bundesgericht zu Art. 21bis Abs. 1 lit. a und Abs. 3 erster Satz BdBSt - die mit den Art. 22 Abs. 3 und Art. 24 lit. b DBG vergleichbar sind - entschieden, dass weder das Gesetz Raum lasse noch sonst wie Anlass bestehe, für die Kapitalabfindungen aus Leibrenten von der für die Rentenzahlungen vorgesehenen Regelung abzuweichen. Diese Auffassung wurde im BdBSt noch gestützt durch den 2. Satz in Art. 21bis Absatz 3, der für "Einkünfte aus Versicherung und Vorsorge in Form einmaliger Kapitalleistungen", die nicht Kapitalversicherungen sind, die "sinngemässe Anwendung" von Art. 21bis Absatz 1 (und 2) BdBSt vorsah (das heisst, die Besteuerung zu drei oder vier Fünftel, sofern die Prämien und Beiträge zum Erwerb des Anspruchs ganz oder teilweise vom Steuerpflichtigen aufgebracht worden sind). Es ging im damals beurteilten Fall um die Besteuerung einer Kapitalzahlung aus dem Rückkauf einer Rentenversicherung (Urteil 2A.40/1998 vom 10. August 1998 E. 4c, in: StE 1999 B 28 Nr. 6 und RDAF 1998 II S. 462). Bis zu diesem Urteil wurden solche Kapitalleistungen in der Praxis der Kantone überwiegend als "Vermögensanfall aus rückkaufsfähigen Kapitalversicherungen" qualifiziert, was keine Einkommenssteuerfolgen auslöste (vgl. Jungo/Maute, Lebensversicherungen und Steuern, 2003, S. 68).
In BGE 131 I 409 hat das Bundesgericht diese Rechtsprechung für die harmonisierten Steuergesetze des Bundes bestätigt. Der Fall betraf zwar eine doppelbesteuerungsrechtliche Problematik: Ausgangspunkt war die Frage, welcher Teil der Rückgewährssumme als Einkommen dem Wohnsitzkanton des Empfängers zuzuweisen war. Das Bundesgericht hat indessen diese Frage nach harmonisierungsrechtlichen Gesichtspunkten beantwortet, das heisst in Auslegung insbesondere der Art. 22 Abs. 3 und 24 lit. b DBG (bzw. Art. 7 Abs. 2 und 4 lit. d des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, StHG, SR 642.14) und den Rückgewährsbetrag aus einer Leibrentenversicherung im Todesfall im Umfang von 40 Prozent dem für die Besteuerung des Einkommens des Leistungsempfängers zuständigen Kanton (und 60 Prozent dieser Summe dem Kanton des letzten Wohnsitzes des Erblassers) zugewiesen (vgl. BGE 131 I 409 E. 5.5.5 f. und 6.1 S. 420 ff.). Gestützt auf dieses Urteil hat die Schweizerische Steuerkonferenz (SSK) in ihrer Empfehlung vom 7. März 2006 diejenige vom 2./3. April 2003 der bundesgerichtlichen Rechtsprechung angepasst und vorgeschlagen, 40 Prozent der Rückgewährssumme im Todesfall als Kapitalleistung aus Vorsorge der separaten Einkommenssteuer zum Vorsorgetarif (Art. 38 DBG) zu besteuern (zitiert gemäss Kurzmitteilung Nr. 375 der Steuerverwaltung des Kantons Basel-Landschaft vom 6. September 2006; zur Empfehlung der SSK vom 2./3. April 2003, vgl. Petra Helfenstein, Die Besteuerung der privaten Rentenversicherungen in der Schweiz - eine systematische Darstellung der kantonalen Unterschiede, StR 59/2004 S. 86 ff.).
4.3 Dieser Rechtsprechung - Besteuerung von Kapitalzahlungen beim Rückkauf von Rentenversicherungen zu 40 Prozent - ist allerdings auch Kritik erwachsen. Es wird geltend gemacht, sie könne zu Über- oder Unterbesteuerungen führen. Das Leistungsfähigkeitsprinzip werde namentlich verletzt, wenn beim Rückkauf nach kurzer Zeit das Kapital kleiner sei als die Einmalprämie (Laffely Maillard, a.a.O., N. 31 zu Art. 22; s. auch Agner/Digeronimo/Neuhaus/Steinmann, Kommentar zum Gesetz über die direkte Bundessteuer, Ergänzungsband, 2000, S. 140 f. N. 1b zu Art. 38 DBG; Locher, a.a.O., 2001, N. 26 zu Art. 24). Da die Rentenversicherung zudem auch das Langleberisiko abdecken müsse, was bei der Festsetzung der Pauschale von 40 Prozent habe berücksichtigt werden müssen, und dieses Risiko beim Rückkauf oder vorzeitigen Tod wegfalle, erweise sich die Pauschale von 40 Prozent im Falle der Kapitalzahlung als zu hoch (Urs R. Behnisch, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahre 2005 [ad BGE 131 I 409], ZBJV 143/2007 S. 435).
Es wird deshalb von einem Teil der Lehre die Auffassung vertreten, Kapitalleistungen aus Rentenversicherungen sollten nur mit ihrer Ertragskomponente besteuert werden. Die gesetzliche Grundlage wird in Art. 20 Abs. 1 lit. a DBG (Agner/Digeronimo/Neuhaus/Steinmann, a.a.O., N. 1b zu Art. 38 DBG S. 141) oder in Art. 16 Abs. 1 DBG erblickt (vgl. Locher, a.a.O., N. 26 zu Art. 24 DBG, mit weiteren Hinweisen). Nach Behnisch könnte der Vorbehalt in Art. 22 Abs. 4 DBG zu Gunsten von Art. 24 lit. b DBG dahingehend verstanden werden, dass die gesamte Leistung im Falle eines Rückkaufs steuerfrei sei (Behnisch, steuerliche Behandlung, a.a.O., S. 117; ablehnend Locher, a.a.O., N. 26 zu Art. 24 DBG; Botschaft über die Steuerharmonisierung vom 25. Mai 1983, BBl 1983 III 165 ad Art. 22 i.f.). Nach anderer Ansicht ist die Rechtsprechung zur Besteuerung von Kapitalleistungen aus Rentenversicherungen vertretbar (Yves Noël, Double imposition intercantonale et internationale, ASA 76 S. 67 zu BGE 131 I 409), oder es wird geltend gemacht, dass die Lösung vom Gesetzgeber gewollt sei, weshalb nur eine Gesetzesänderung Abhilfe schaffen könne (Laffely Maillard, a.a.O., N. 31 zu Art. 22 DBG).
4.4 Der Gesetzgeber ist bei der Festsetzung der Pauschale von Erfahrungswerten ausgegangen. Der Besteuerung von Leibrenten (sowie Einkünften aus Verpfründung) zu 40 Prozent nach Art. 22 Abs. 3 DBG liegen versicherungswirtschaftliche Überlegungen und Berechnungen zugrunde. Sie beruht auf dem Modellfall, dass im Alter von 62 Jahren eine Rentenversicherung begründet wird und nach zehn Jahren die Zinskomponente (je nach Geschlecht) leicht unter bzw. über 40 Prozent liegt, wobei in diesem Zeitpunkt rund die Hälfte der statistischen Lebenserwartung erreicht wird (Agner/Digeronimo/Neuhaus/Steinmann, a.a.O., N. 4a zu Art. 22 DBG S. 95; Hans-Jürg Neuhaus, Die steuerlichen Massnahmen im Bundesgesetz vom 19. März 1999 über das Stabilisierungsprogramm 1998, ASA 68 S. 294; s. auch Urteil 2C_596/2007 vom 24. Juni 2008 E. 4.3, in: RDAF 2008 II p. 390). Möglich wäre auch die separate Berechnung der steuerbaren Zinskomponente, doch wäre das mit einem erheblichen administrativen Aufwand verbunden, zumal die Berechnung getrennt nach Rentenbeginn, Alter und Geschlecht erfolgen müsste (vgl. Neuhaus, a.a.O. S. 295). Die Besteuerung der Rentenzahlungen nach einem pauschalierten Ansatz, wie ihn der Gesetzgeber vorgesehen hat, wird denn auch in der Literatur soweit ersichtlich nicht grundsätzlich kritisiert (mit Ausnahme des Satzes von 40 Prozent, der zum Teil noch immer als zu hoch betrachtet wird, Höhn/Waldburger, Steuerrecht, Band I, 9. Aufl. 2001, § 14 N 103 S. 339). Die erwähnte Kritik richtet sich vielmehr gegen die Anwendung der pauschalen Besteuerung nach Art. 22 Abs. 3 DBG auch auf Kapitalzahlungen aus Rentenversicherungen.
4.5 Die von der Doktrin vorgetragenen Bedenken sind durchaus ernst zu nehmen. Eine vollumfängliche Freistellung der Besteuerung der Kapitalrückzahlung aus Leibrenten analog Art. 24 lit. b DBG - wie von einem Teil der Lehre gefordert - kann indessen nicht in Frage kommen. Eine gesetzliche Grundlage besteht nicht, um diese für die Kapitalversicherungen geltende Regelung analog auf Rentenversicherungen anzuwenden (Laffely Maillard, a.a.O., N. 31 zu Art. 22 DBG; Locher, a.a.O., N. 26 zu Art. 24 DBG). Art. 24 lit. b DBG gilt nur für die rückkaufsfähigen Kapitalversicherungen und nicht für Rentenversicherungen (anderer Meinung Behnisch, steuerliche Behandlung, a.a.O., S. 114 ff., der in wirtschaftlicher Betrachtungsweise, S. 116, argumentiert, dass mit dem Rückkauf der Versicherung das versicherte Langelebrisiko dahinfällt und sich damit die Rentenversicherung nicht mehr von einer Kapitalversicherung unterscheide).
An sich könnte die Zinskomponente über die Generalklausel von Art. 20 Abs. 1 DBG auch direkt und in ihrer tatsächlichen Höhe besteuert werden. Zu den "Erträgen aus beweglichem Vermögen" im Sinne dieser Bestimmung gehören grundsätzlich alle "Zinsen aus Guthaben". Die Aufzählung in lit. a-f hat bloss exemplifikativen Charakter. Dem steht indessen entgegen, dass nach Ablauf der Aufschubphase (mit Beginn der Rentenzahlungen) die pauschalierende Methode der Besteuerung eingreift (Art. 22 Abs. 3 DBG). Es ist daher mit Blick auf einen Rückkauf oder eine Rückgewähr in der Rentenphase ausgeschlossen, dass die in den Rentenzahlungen enthaltenen Ertragskomponenten pauschal, die in den Kapitalzahlungen enthaltenen Ertragskomponenten hingegen konkret berechnet werden. Eine derartige Mischrechnung wäre auch mit praktischen Schwierigkeiten verbunden. Das Bundesgericht hat einen solchen Methodendualismus in BGE 131 I 409 E. 6.1 S. 422 f. daher abgelehnt. Abhilfe schaffen könnte nur der Gesetzgeber, sofern sich die pauschale Besteuerung von 40 Prozent gesamthaft oder in Bezug auf Kapitalzahlungen als zu hoch erweisen sollte.
Den Unzulänglichkeiten des Gesetzes kann auch dadurch Rechnung getragen werden, dass bei Leibrenten von kurzer Dauer (weniger als fünf Jahre, vgl. Art. 20 Abs. 1 lit. a zweiter Satz DBG), die schwerlich der Vorsorge zugerechnet werden können und die sich den "Zeitrenten" annähern, nur die Zinskomponente als "Ertrag aus beweglichem Vermögen" im Sinne von Art. 20 Abs. 1 DBG erfasst wird (vgl. vorn E. 3.2). Die Aufzählung in Art. 20 Abs. 1 lit. a-f DBG hat, wie erwähnt, nicht abschliessenden Charakter (zum Begriff "Zeitrente", s. auch Urteil 2A.366/2000 vom 15. November 2001 E. 2b, in: StE 2002 B 26.12 Nr. 6; Urteil 2C_596/2007 vom 24. Juni 2008 E. 3.4, in: RDAF 2008 II p. 390; Richner/Frei/Kaufmann, a.a.O., N. 46 zu 22 DBG).
5. 5.1 Der Beschwerdeführer, geboren am 22. November 1943, schloss den Vertrag mit der Credit Suisse für die Rentenversicherung in US-Dollar im Alter von 57 Jahren am 26. Januar 2001 ab. Versicherte Person und Versicherungsnehmer war der Beschwerdeführer. Der Rentenbeginn für die monatlichen Rentenzahlungen wurde auf den 20. Dezember 2005 festgelegt. Die letzte Rente wäre am 20. November 2022 fällig geworden. Im Todesfall während der Aufschubsphase (Ansparphase) wäre das Deckungskapital, im Todesfall während der Rentendauer der Rückkaufswert fällig geworden. Ab dem 20. Dezember 2022 wäre die Versicherung als Leibrente zugunsten der versicherten Person, solange diese lebte, weitergeführt worden. Finanziert wurde die Versicherung durch den Beschwerdeführer mit einer Einmaleinlage von USD 260'000.-- (einschliesslich Stempelabgabe).
Da die Überschüsse offenbar nicht den Erwartungen entsprachen, stellte der Beschwerdeführer am 16. Dezember 2005, also noch vor der ersten Rentenzahlung (20. Dezember 2005), ein Gesuch um Rückkauf der Versicherung. Gemäss Ziff. 8.4 der Allgemeinen Versicherungsbedingungen entspricht der Rückkaufswert der mit einer Einmalprämie finanzierten Versicherung beim Rückkauf vor dem Rentenbeginn dem Deckungskapital vermindert um den allfälligen Zinsrisikoabzug. Beim Rückkauf nach Rentenbeginn entspricht der Rückkaufswert dem Barwert der noch zu leistenden Renten. Am 23. Januar 2007 wurde dem Beschwerdeführer der Rückkaufswert im Betrag von USD 305'630.-- von der Versicherung ausbezahlt. Nicht zutreffend ist im Übrigen die Feststellung des Beschwerdeführers, er habe aus dieser Versicherung einen Verlust erlitten. In der Rechnungswährung (USD) erzielte er vielmehr einen Gewinn.
5.2 Gemäss Art. 90 Abs. 1 VVG ist der Versicherer verpflichtet, jede Lebensversicherung, für welche die Prämien wenigstens für drei Jahre entrichtet worden sind, auf Begehren des Anspruchsberechtigten ganz oder teilweise in eine beitragsfreie Versicherung umzuwandeln. Nach Absatz 2 dieser Vorschrift kann der Versicherungsnehmer statt der Umwandlung auch den Rückkauf wählen (sofern der Vertrag einen Rückkaufswert hat). Der Rückkauf führt somit zur Vertragsbeendigung unter Vergütung des individuellen Rückkaufswerts durch das Versicherungsunternehmen (s. auch Andrea Eisner-Kiefer, Beendigung des Versicherungsvertrages, ZSR 126/2007 I S. 384; Gesamtrevision des Bundesgesetzes über den Versicherungsvertrag [VVG], Erläuternder Bericht der Expertenkommission vom 31. Juli 2006, in: Totalrevision VVG, Ein Wurf für die nächsten 100 Jahre? Beiträge zur Tagung vom 23. November 2006, Anhang S. 88).
5.3 Von der Möglichkeit des Rückkaufs hat auch der Beschwerdeführer Gebrauch gemacht mit der Folge, dass der Versicherungsvertrag mit dem Rückkaufsgesuch an den Versicherer beendet wurde. Damit hatte der Vertrag weniger als fünf Jahre Bestand. Es bestehen keine Anhaltspunkte, dass die Parteien den Vertrag über den Rückkaufszeitpunkt hinaus weitergeführt hätten oder dass bereits Rentenbetreffnisse zur Auszahlung gelangt wären. Vielmehr weist auch der Beschwerdeführer darauf hin, dass ihm das Deckungskapital, vermindert um den allfälligen Zinsrisikoabzug, ausbezahlt worden sei.
Unter diesen Umständen stellt sich die Frage, ob die Rückkaufssumme unter die "Einkünfte aus Vorsorge" (vgl. Titel vor Art. 22 DBG) fällt. Art. 22 Abs. 3 DBG findet nur auf Versicherungsverhältnisse Anwendung, die der Vorsorge dienen. Das muss auch für die Kapitalzahlung aus der Ablösung einer Leibrente gelten. Der Begriff der Vorsorge ist in den Steuergesetzen nicht allgemein definiert. Immerhin legt Art. 20 Abs. 1 lit. a DBG für die rückkaufsfähigen Kapitalversicherungen mit Einmalprämie fest, wann eine solche Versicherung der "Vorsorge dient". Rückkaufsfähige Kapitalversicherungen mit Einmalprämie sind im Erlebensfall oder bei Rückkauf einkommenssteuerfrei, sofern sie der Vorsorge dienen (Art. 20 Abs. 1 lit. a DBG). Als der Vorsorge dienend gilt gemäss dieser Vorschrift die Auszahlung der Versicherungsleistung ab dem vollendeten 60. Altersjahr des Versicherten auf Grund eines mindestens fünfjährigen Vertragsverhältnisses, das vor Vollendung des 66. Altersjahres begründet wurde. In diesem Fall sind die Leistungen aus der Versicherung einkommenssteuerfrei (Art. 20 Abs. 1 lit. a zweiter und dritter Satz DBG).
Es rechtfertigt sich, im vorliegenden Fall, hilfsweise (analog) auf diese Begriffsumschreibung abzustellen. Auch wenn es sich nicht um eine Kapital-, sondern eine Rentenversicherung handelt, müssen doch vergleichbare Verhältnisse hergestellt werden. Erforderlich wäre ein mindestens fünf Jahre andauerndes Vertragsverhältnis (in diesem Sinn Urteil 2C_596/2007 vom 24. Juni 2008 E. 4.5, in RDAF 2008 II p. 390). Diese Frist ist im vorliegenden Fall nicht eingehalten worden. Es rechtfertigt sich daher nicht, dem vorliegend streitigen Vertragsverhältnis, das weniger als volle fünf Jahre gedauert hat, den Vorsorgecharakter zuzuerkennen. Art. 22 Abs. 3 DBG findet auf die vorliegende Rückkaufsleistung keine Anwendung. Dieses Ergebnis rechtfertigt sich umso mehr, als mit der pauschalen Besteuerung von 40 Prozent der Rückkaufssumme nach einer Laufzeit von nicht einmal vollen fünf Jahren offensichtlich mehr als nur die Ertragskomponente besteuert wird.
5.4 Es stellt sich die Frage, wie die Kapitalleistung zu besteuern ist. Als Kapitalversicherung kann die vom Beschwerdeführer geschlossene Rentenversicherung nicht betrachtet werden. Entscheidend ist, dass eine Rentenversicherung, keine Kapitalversicherung abgeschlossen wurde (vgl. vorstehende E. 4.1). Art. 20 Abs. 1 lit. a DBG (Besteuerung rückkaufsfähiger Kapitalversicherung ohne Vorsorgecharakter mit der Ertragskomponente) ist auf die Rentenversicherung daher nicht direkt anwendbar. Da der Versicherung der Vorsorgecharakter fehlt, kommt auch Art. 24 lit. b DBG nicht in Betracht. Die Aufzählung in Art. 20 Abs. 1 DBG hat indessen lediglich exemplifikativen Charakter, wie aus den Einleitungssatz hervorgeht ("insbesondere"). Es ist daher nicht ausgeschlossen, die Rückkaufssumme nur mit der Ertragskomponente der Einkommenssteuer zu unterstellen. Die gesetzliche Grundlage findet sich in Art. 20 Abs. 1 in Verbindung mit Art. 16 Abs. 1 DBG. Da die Renten noch nicht zu laufen begonnen haben und das Rentenstammrecht unangetastet ist, stellen sich bei deren Berechnung keine besonderen Schwierigkeiten.
II. Kantons- und Gemeindesteuern
6. 6.1 Die Auslegung und Anwendung des kantonalen Steuergesetzes, die das Bundegericht nur unter dem beschränkten Blickwinkel des Willkürverbot überprüft (Art. 9 BV), stehen hier nicht in Frage. Der Beschwerdeführer erhebt keine diesbezügliche Verfassungsrüge (Art. 106 Abs. 2 BGG). Zu prüfen ist allein, ob die angefochtene Besteuerung den Vorgaben der Steuerharmonisierung widerspricht.
6.2 Gemäss Art. 7 Abs. 1 und 2 StHG sind die Einkünfte aus Leibrenten (und Verpfründung) zu 40 Prozent steuerbar. Steuerfrei ist der Vermögensanfall aus rückkaufsfähiger privater Kapitalversicherung (Art. 7 Abs. 4 lit. d StHG). Erträge aus rückkaufsfähigen Kapitalversicherungen mit Einmalprämie sind bei Rückkauf steuerbar, ausser wenn sie der Vorsorge dienen (Art. 7 Abs. 1ter StHG). Die Regelung ist mit derjenigen im DBG (Art. 22 Abs. 3, 24 lit. b, 20 Abs. 1 lit. a) vergleichbar. Art. 7 Abs. 1ter StHG umschreibt den Begriff der Vorsorge gleich wie Art. 20 Abs. 1 lit. a zweiter Satz DBG. Angesichts der übereinstimmenden Regelung im StHG und DBG ist die hier in Frage stehende Kapitalrückzahlung bei den kantonalen Steuern vom Einkommen gleich zu behandeln wie bei der direkten Bundessteuer. Eine andere Beurteilung liesse sich mit dem Gebot der vertikalen Harmonisierung nicht rechtfertigen. Die Beschwerde ist somit auch hinsichtlich der kantonalen Steuern begründet.
7. Heisst das Bundesgericht die Beschwerde gut, so entscheidet es in der Sache selbst oder weist diese zu neuer Neubeurteilung an die Vorinstanz zurück; es kann die Sache auch an die Behörde zurückweisen, die als erste Instanz entschieden hat (Art. 107 Abs. 2 BBG). Diese Verfahrensbestimmung geht als neuere Vorschrift dem Art. 73 Abs. 3 StHG vor (BGE 134 II 186 E. 1.5.4). Da aufgrund des vorliegenden Urteils einzig noch die Steuerberechnung in Frage steht, rechtfertigt sich die Rückweisung an die kantonale Steuerkommission.
Da der Kanton unterliegt, hat er die bundesgerichtlichen Kosten zu tragen (Art. 65 und 66 Abs. 1 und 4, a contrario, BGG). Der Beschwerdeführer hat Anspruch auf angemessene Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).
Über die Verfahrens- und Parteikosten im kantonalen Verfahren hat das Obergericht des Kantons Schaffhausen in einem Zusatzurteil zu diesem Entscheid neu zu befinden (Art. 68 Abs. 5 DBG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_180/2008 und 2C_181/2008 werden vereinigt.
2. Die Beschwerde 2C_181/2008 wird hinsichtlich der direkten Bundessteuer gutgeheissen, der Entscheid des Obergerichts des Kantons Schaffhausen Nr. 66/2007/33 vom 25. Januar 2008 aufgehoben und die Sache zur Neuveranlagung im Sinne der Erwägungen an die Steuerverwaltung des Kantons Schaffhausen und zur Neuverlegung der Kosten im kantonalen Verfahren an das Obergericht des Kantons Schaffhausen zurückgewiesen.
3. Die Beschwerde 2C_180/2008 wird hinsichtlich der Kantons- und Gemeindesteuern gutgeheissen, der Entscheid des Obergerichts des Kantons Schaffhausen Nr. 66/2007/31 vom 25. Januar 2008 aufgehoben und die Sache zur Neuveranlagung im Sinne der Erwägungen an die Steuerverwaltung des Kantons Schaffhausen und zur Neuverlegung der Kosten im kantonalen Verfahren an das Obergericht des Kantons Schaffhausen zurückgewiesen.
4. Die Gerichtskosten von Fr. 4'000.-- werden dem Kanton Schaffhausen auferlegt.
5. Der Kanton Schaffhausen hat den Beschwerdeführern für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 5'000.-- zu bezahlen.
6. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Schaffhausen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 16. Februar 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Wyssmann