Faits:
A. Né en 1932 et domicilié à A._, X._ a conclu avec effet au 1er septembre 2007 une assurance de rentes viagères à prime unique d'un montant de CHF 200'000.- auprès de l'assurance Y._ SA (ci-après Y._) dans le cadre de la prévoyance individuelle libre (pilier 3b). La rente annuelle garantie dès le 1er septembre 2007 s'élevait à CHF 12'011.60, payable trimestriellement.
En 2007, X._ a perçu à titre de rentes CHF 3'348.80. En 2008, il a touché CHF 6'667.40, avant qu'il ne résilie le contrat avec Y._ et demande le rachat de son assurance. Le 11 août 2008, il a obtenu de Y._ un versement de CHF 178'576.10.
B. Le 15 juin 2010, ayant été informé de ce versement, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a imposé le capital de CHF 178'576.10 dans le cadre de l'imposition ordinaire 2008 en matière d'impôt fédéral direct (ci-après IFD) et d'impôts cantonal et communal (ci-après ICC) à raison de 40 % de la somme aux taux et selon les règles prévues pour les contrats d'entretien viager.
A la suite d'une réclamation formée par X._, le Service cantonal a modifié sa taxation le 8 juillet 2010 et fait bénéficier le contribuable d'un taux d'impôt réduit, calculé en fonction de la rente annuelle et de ses autres revenus imposables.
Le 3 novembre 2010, la Commission d'impôt des personnes physiques du canton du Valais a partiellement admis la nouvelle réclamation formée par X._. Elle a imposé séparément, à raison de 40 % de la somme et à un barème réduit, le montant de CHF 178'576.10 provenant du rachat de la police d'assurance de rentes viagères, aboutissant à un montant d'ICC de CHF 3'141.60, soit CHF 1'428.- pour l'impôt cantonal et CHF 1'713.60 pour l'impôt communal, et à un montant d'IFD de CHF 202.80.
Saisie d'un recours formé par X._, la Commission de recours en matière fiscale du canton du Valais (ci-après la Commission de recours), par décision du 17 juin 2011, a admis le recours et annulé la décision attaquée, considérant qu'il convenait de renoncer à toute imposition s'agissant de la somme de CHF 178'546.- versée par Y._ en 2008, tant en matière d'ICC que d'IFD.
C. A l'encontre de la décision du 17 juin 2011, notifiée le 5 octobre 2011, le Service cantonal forme un recours en matière de droit public au Tribunal fédéral. Il conclut, avec suite de frais à la charge du contribuable, à l'admission du recours et à la confirmation de la décision sur réclamation du 3 novembre 2010, subsidiairement au renvoi du dossier à la Commission de recours pour nouvelle décision au sens de son recours.
Aux termes de ses déterminations, X._ demande que la décision de la Commission de recours soit confirmée. Cette dernière conclut au rejet du recours en renvoyant à sa décision. Dans sa prise de position, l'Administration fédérale des contributions a déclaré partager entièrement l'avis du Service cantonal et a proposé l'admission du recours.
Le 8 juin 2012, la Cour de céans a délibéré sur les recours en séance publique.
Considérant en droit:
I. Recevabilité
1. Le litige porte sur l'imposition en matière d'IFD et d'ICC pour la période 2008 du montant en capital provenant du rachat d'une assurance de rente viagère conclue en relation avec la prévoyance individuelle.
1.1 La Commission de recours a rendu une seule décision valant tant pour l'impôt fédéral direct (IFD) que pour l'impôt cantonal et communal (ICC), ce qui est admissible (cf. ATF 135 II 260 consid. 1.3.1 p. 262 s.), dès lors qu'en ce domaine, la question juridique est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. arrêt 2C_180/2008 consid. 6 non publié à l'ATF 135 II 183). Dans ces circonstances, on ne peut reprocher au recourant d'avoir soulevé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours au Tribunal fédéral (cf. ATF 135 II 260 consid. 1.3.2 p. 263 s.). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'IFD (2C_907/2011), l'autre l'ICC (2C_906/2011). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
1.2 L'imposition du versement en capital reçu par l'intimé à titre de rachat de son assurance de rente viagère relève du droit public et ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF, de sorte que la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF. L'art. 146 LIFD (RS 642.11) confirme du reste expressément cette voie de droit pour l'IFD. L'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) fait de même pour l'ICC, l'imposition du revenu étant une matière harmonisée (cf. art. 7 ss LHID).
1.3 Le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF; cf. art. 150 al. 2 de la loi fiscale valaisanne du 10 mars 1976 [LF/VS; RS-VS 642.1]). Il a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le Service cantonal qui a qualité pour recourir en vertu de l'art. 89 al. 2 let. d LTF en relation avec les art. 146 in fine LIFD et 73 al. 2 LHID.
Par conséquent, il convient d'entrer en matière.
II. Impôt fédéral direct
2. 2.1 Selon la décision entreprise, l'assurance conclue en 2007 par l'intimé ne pouvait être considérée comme une assurance de capital, de sorte qu'elle ne pouvait bénéficier de l'exonération prévue pour cette catégorie d'assurance à l'art. 24 al. 1 let. b LIFD. Se fondant sur l'arrêt 2C_255/2008 du 16 février 2009 (cf. ATF 135 II 195 et RDAF 2010 II 189), les juges ont considéré que l'art. 22 al. 3 LIFD réglant l'imposition des rentes viagères et des revenus provenant de contrats d'entretien viager n'était pas non plus applicable, car une imposition forfaitaire de 40 % de la somme de rachat après une période de moins de cinq années d'assurance aurait pour résultat une surimposition. Partant, seule la partie de la somme de rachat représentant les intérêts pouvait être soumise à imposition en application de l'art. 20 al. 1 LIFD. Dès lors que ce montant devait être en l'occurrence peu élevé, compte tenu de la courte durée de l'assurance et que l'opération, envisagée globalement, s'était soldée par une perte, il convenait de renoncer à toute imposition.
2.2 Le Service cantonal considère que ce raisonnement et le résultat auquel il aboutit violent l'art. 22 al. 3 LIFD. Il reproche en substance aux membres de la Commission de recours d'avoir méconnu la jurisprudence, en particulier l'ATF 135 II 183, en considérant que le montant du rachat versé à l'intimé en 2008 ne devait pas être imposé à concurrence de 40 % de la somme. De l'avis du recourant, dès lors que le rachat est intervenu pendant la période de versement des rentes, il doit être imposé conformément à l'art. 22 al. 3 LIFD, l'impôt étant calculé séparément en application de l'art. 38 LIFD.
3. 3.1 Selon l'art. 16 al. 1 LIFD, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques. La loi réserve une série d'exceptions qui concernent notamment les capitaux versés à titre de rachat d'assurances. Le système légal peut se résumer comme suit. L'art. 20 al. 1 let. a LIFD prévoit que sont imposables les intérêts d'avoirs, y compris les rendements versés, en cas de vie ou de rachat, d'assurances de capitaux susceptibles de rachat et acquittées au moyen d'une prime unique, sauf si ces assurances servent à la prévoyance. La prestation d'assurance est réputée servir à la prévoyance lorsqu'elle est versée à un assuré de 60 ans révolus en vertu d'un contrat qui a duré au moins cinq ans et qui a été conclu avant le 66e anniversaire de ce dernier. Dans ce cas, la prestation est exonérée. L'art. 22 al. 1 LIFD, qui se trouve dans la section de la loi consacrée aux revenus provenant de la prévoyance, déclare toutefois imposables tous les revenus provenant de l'assurance-vieillesse et survivants, de l'assurance-invalidité ainsi que tous ceux provenant d'institutions de prévoyance professionnelle ou fournis selon des formes reconnues de prévoyance individuelle liée, par quoi il faut comprendre les revenus provenant des piliers 1, 2 et 3a (cf. GLADYS LAFFELY MAILLARD, in Commentaire romand de l'impôt fédéral direct, 2008, n° 1 ad art. 22 LIFD; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/ HANS ULRICH MEUTER, Handkommentar zum DBG, 2e éd. 2009, n° 1 ad art. 22 LIFD). Cette disposition précise en outre que l'imposition concerne également les prestations en capital et le remboursement des versements, primes et cotisations (cf. art. 22 al. 1 in fine LIFD). La prévoyance individuelle libre du pilier 3b n'est, de son côté, saisie que de manière très ponctuelle, à savoir en tant qu'elle a lieu par le biais de rentes viagères et de contrats d'entretien viager (cf. RICHNER/ FREI/KAUFMANN/ MEUTER, loc. cit.). L'art. 22 al. 3 LIFD prévoit ainsi que les rentes viagères et les revenus provenant de contrats d'entretien viager sont imposables à raison de 40 %. La jurisprudence a récemment précisé que l'imposition des rentes et revenus provenant de contrats d'entretien viager devait se faire de manière séparée et à un taux préférentiel d'un cinquième des barèmes inscrits à l'art. 214 ou 36 LIFD conformément à l'art. 38 LIFD (cf. ATF 135 II 195 consid. 6.3 et 6.7 p. 199 s.). Enfin, l'art. 22 al. 4 LIFD réserve l'art. 24 let. b LIFD selon lequel sont exonérés de l'impôt les versements provenant d'assurances de capitaux privées susceptibles de rachat, à l'exception des polices de libre-passage. L'art. 20, al. 1, let. a est réservé.
3.2 En l'espèce, l'intimé ne peut se prévaloir ni de l'art. 20 al. 1 let. a LIFD ni de l'art. 24 al. 1 let. b LIFD. En effet, ces deux dispositions supposent l'existence d'une assurance de capitaux susceptible de rachat. Selon la jurisprudence, en présence de prestations allouées sous forme de versements périodiques, la distinction entre assurance de rente (viagère) et assurance de capitaux revient à se demander si la prestation versée est une rente certaine (cf. arrêt 2C_596/2007 du 24 juin 2008, in RDAF 2008 II 390 consid. 3.3.2). La rente certaine, caractéristique de l'assurance de capitaux, représente le remboursement par tranches (acomptes) d'un capital épargne auquel s'ajoutent des intérêts; son versement est garanti pendant toute la durée du contrat et ne dépend pas de la vie ou de la mort de l'ayant droit (cf. arrêt 2C_596/2007 du 24 juin 2008 in RDAF 2008 II 390 consid. 3.4). La rente viagère correspond, pour sa part, à une prestation périodique versée régulièrement, en général d'un montant constant et pendant toute la vie d'une ou de plusieurs personnes. Le débiteur de la rente peut être une compagnie d'assurance, un particulier ou une entreprise (cf. ATF 131 I 409 consid. 5.2 p. 415 et les références). Du point de vue fiscal, la distinction entre la rente viagère et la rente certaine tient au fait que la première comporte nécessairement - fût-elle ténue - une dimension d'assurance, prise en charge par l'assureur sur la base d'un tarif fondé sur des données actuarielles, tandis que la seconde ne dépend d'aucun calcul de probabilité, mais est exclusivement fondée sur le montant du capital investi, le taux d'intérêt applicable et la durée prévue de la rente (arrêt 2C_522/2009 du 17 mars 2010 in RDAF 2010 II 463 consid. 3.2). Pour déterminer si l'on a affaire à une assurance de capital ou à une assurance de rente, il convient de se fonder sur le contrat conclu et non sur le type effectif de versement (cf. ATF 135 II 183 consid. 4.1 p. 187).
En l'occurrence, il ressort de la police d'assurance établie le 3 septembre 2007 et intitulée assurance de rentes viagères, que Y._ garantissait le versement à l'intimé d'une rente annuelle de CHF 12'011.60, exigible trimestriellement en cas de vie de son bénéficiaire (art. 105 al. 2 LTF). Un tel engagement est caractéristique d'un contrat d'entretien viager, ce qui exclut l'existence d'une rente certaine et partant l'application des exonérations propres aux assurances de capitaux susceptibles de rachat.
3.3 Le litige revient donc à déterminer si, en présence d'une assurance entrant dans la catégorie des contrats d'entretien viager, la Commission de recours était en droit de ne pas imposer le montant perçu par l'intimé sur la base de l'art. 22 al. 3 LIFD, et de renoncer à toute imposition au motif que, sous l'angle économique, l'opération s'était soldée par une perte.
4. 4.1 Lorsqu'un contrat d'entretien viager a été conclu, les montants en capital versés par l'assurance à titre de rachat ou de valeur de restitution en cas de décès avant une certaine date constituent des revenus provenant de contrats d'entretien viagers au sens de l'art. 22 al. 3 LIFD (cf. ATF 131 I 409 consid. 6.1 p. 422 s.). L'imposition à raison de 40 % prévue par cette disposition correspond à une imposition forfaitaire, l'idée du législateur étant d'exonérer la part de la rente représentant les fonds engagés pour financer les rentes, qui ne sont pas déductibles, et de n'assujettir à l'impôt que le rendement de ces fonds (cf. LAFFELY MAILLARD, op. cit., n° 27 ad art. 22 LIFD). Le Tribunal fédéral a précisé qu'un tel système reposant sur un calcul forfaitaire établi en fonction de données statistiques doit être mis en place de manière conséquente et suppose une application schématique, même si l'intérêt correspondant au rendement des fonds est inférieur ou supérieur à la moyenne de 40 % (cf. ATF 131 I 409 consid. 6.1 p. 423).
4.2 L'application stricte de l'art. 22 al. 3 LIFD, par la jurisprudence, aux versements de capitaux provenant de contrats d'entretien viager a été critiquée par la doctrine, car elle peut mener à une surimposition en violation du principe de la capacité contributive, en particulier lorsqu'il y a rachat ou restitution ensuite de décès peu de temps après la conclusion du contrat et que le capital versé par l'assurance est plus petit que la prime unique. Une partie de la doctrine soutient du reste que les versements de capitaux provenant d'assurances de rentes devraient n'être imposés que pour la part représentant les intérêts, en application de l'art. 20 al. 1 let. a LIFD (cf. pour une présentation de la doctrine sur ce point, ATF 135 II 183 consid. 4.3 p. 189 s.). Dans cet arrêt récent, le Tribunal fédéral s'est montré sensible à ces objections doctrinales et a nuancé la jurisprudence antérieure, en tenant toutefois compte des impératifs liés au respect du droit en vigueur. En substance, il a souligné que la solution, préconisée par une partie de la doctrine, tendant à libérer totalement de l'imposition les remboursements de capitaux provenant de rentes viagères, ne pouvait être envisagée, car il n'existait pas de base légale le permettant (cf. ATF 135 II 183 consid. 4.5 p. 191 s.). Toutefois, si un rachat intervenait avant que les rentes ne soient versées, à savoir pendant la période de différé, la Cour de céans a admis que le versement en capital en résultant, s'il ne remplissait pas les conditions permettant de le qualifier de revenu provenant de la prévoyance, telles que définies à l'art. 20 al. 1 let. a LIFD, devait être imposé non pas en application de l'art. 22 al. 3 LIFD, mais selon la clause générale de l'art. 20 al. 1 LIFD en relation avec l'art. 16 al. 1 LIFD, soit sur la seule part représentant les intérêts (cf. ATF 135 II 183 consid. 5.3 p. 193 s.). Cette forme d'imposition a toutefois été clairement exclue par le Tribunal fédéral en cas de rachat ou de restitution après la période de différé, soit pendant la phase de versement des rentes (cf. ATF 135 II 183 consid. 4.5 p. 191 s.).
4.3 A la suite de cette jurisprudence, la Conférence suisse des impôts a adapté ses recommandations relatives à l'imposition des prestations en capital découlant d'assurances de rente viagère (pilier 3b) (cf. Information du 27 octobre 2009, www.steuerkonferenz.ch, sous Notices et Pratiques - Prévoyance [consulté le 12 juin 2012]). Celles-ci entérinent le principe selon lequel l'imposition doit intervenir en application de l'art. 22 al. 3 LIFD dès que le rachat ou la restitution des primes intervient pendant le versement des rentes et non pendant le différé.
Dans leurs commentaires de l'ATF 135 II 183, les auteurs précisent également que l'assouplissement mis en place par le Tribunal fédéral ne vaut pas lorsque le rachat intervient au cours de la phase de versement des rentes, cette solution étant dictée par l'application du droit en vigueur que seul le législateur peut modifier (cf. PETER LANG, Die private Rentenversicherung der Säule 3b im Einkommens- und Vermögenssteuerrecht, 2010, p. 190; le même, Rückkauf von Rentenversicherungen - Bundesgericht entwickelt Rechtsprechung weiter, in Jus-letter du 29 juin 2009, n° 12 p. 5, n° 39 p. 12; BERTRAND TILLE, Commentaire in RDAF 2010 II 202 ss; URS R. BEHNISCH/ANDREA OPEL, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahr 2009, in ZBJV 2010 463 ss, spéc. 466; FELIX RICHNER, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahr 2009 für natürliche Personen, in ASA 79 733 ss, spéc. 744). Ainsi, lorsque le rachat intervient au cours de la phase de versement des rentes, le contrat est présumé servir à la prévoyance, que les conditions de l'art. 20 al. 1 let. a LIFD soient remplies ou non (cf. LANG, op. cit., p. 189).
4.4 L'application de l'art. 22 al. 3 LIFD au rachat d'un contrat d'entretien viager peut conduire à des résultats problématiques lorsque, comme en l'espèce, le contrat a été conclu moyennant le paiement d'une prime unique et que le rachat intervient peu de temps après le début du versement des rentes. Le principe de la capacité contributive (cf. art. 127 al. 2 Cst.) pourrait notamment être violé lorsque, lors d'un rachat après une courte période d'assurance, le capital remboursé est inférieur à la prime unique qui avait été payée. On peut aussi se demander si l'imposition de la somme de rachat ne contreviendrait pas au texte de l'art. 16 LIFD qui prévoit que l'impôt a pour objet les revenus du contribuable. Dans la mesure où le rachat de l'assurance correspond au remboursement du capital versé au départ, il n'y a en effet pas de revenu, mais un simple transfert de patrimoine: le preneur d'assurance paie un capital, ce qui lui donne le droit de réclamer le remboursement de ce capital plus un rendement, et, à la fin du contrat, il reçoit ledit capital en retour, ainsi que les intérêts.
L'imposition forfaitaire du contrat d'entretien viager cherche à assurer, sur l'ensemble de la durée du contrat, une imposition adéquate du revenu sans imposer le capital investi. L'imposition des rentes provenant de contrats d'entretien viager à 40 % se base sur le cas modèle où à l'âge de 62 ans, une assurance de rente est conclue et qu'après dix ans, la part représentant les intérêts se monte à peu près à 40 %, tandis qu'à ce moment environ la moitié de l'espérance de vie statistique est atteinte (cf. ATF 135 II 183 consid. 4.4 p. 190). Selon ce modèle cependant, l'imposition forfaitaire du contrat d'entretien viager après le début du versement des rentes entraîne d'abord une sous-imposition, lorsque la part de capital remboursé inhérent à chaque rente est inférieure à 60 %, qui se transforme en une sur-imposition après environ dix ans, lorsque la part de capital remboursé est supérieure à 60 %. En fixant le forfait, le législateur a ainsi déjà tenu compte de ce que la part de revenu inhérente à chaque rente versée n'est pas constante (cf. ATF 131 I 409 consid. 6.1 p. 422 s.). Le législateur fédéral a du reste expressément rejeté, lors de l'élaboration du programme de stabilisation en 1998, toute idée d'échelonner les taux - notamment en fonction de l'âge de l'assuré -, par crainte de compliquer et d'augmenter la charge de travail des autorités fiscales, des assureurs et des contribuables eux-mêmes (cf. Message du Conseil fédéral du 28 septembre 1998 concernant le programme de stabilisation 1998, in FF 1998 p. 96, 103 s.). C'est qu'il faudrait notamment tenir compte, pour introduire un tel système, de l'âge et du sexe de l'assuré, de la date de signature du contrat, ainsi que du début et de la durée des rentes versées (arrêt 2C_596/2007 du 24 juin 2008 in RDAF 2008 II 390 et StE 2009 B 26.21 5, consid. 4.4 et les références). Une telle imposition forfaitaire doit donc être appliquée de manière conséquente, à défaut de quoi l'effet régulateur sur l'ensemble de la durée du contrat n'est plus assuré.
Cet effet régulateur sur la durée est cependant mis à mal lorsque le rachat du contrat intervient peu après le début du versement des rentes. En effet, dans un tel cas, les rentes versées - qui (selon le modèle) ont bénéficié d'une sous-imposition - sont minimes, alors que l'imposition de la somme rachetée est effectuée à un taux beaucoup trop élevé compte tenu de sa composition. En raison de la brève durée du contrat, cette somme proviendra en effet de façon largement supérieure à 60 % du capital investi à l'origine, et non de revenu. Or, en principe, seul le revenu devrait être imposé (cf. art. 16 LIFD), ce qui n'est alors plus le cas.
Le droit fédéral en vigueur ne permet pas de libérer de l'imposition en vertu de l'art. 22 al. 3 LIFD les rachats ou remboursement de capital effectués durant la période de versement des rentes (cf. ATF 135 II 183 consid. 4.5 p. 191 s.). Après l'expiration de la période de différé, avec le commencement du paiement des rentes, le législateur a en effet mis en place une méthode d'imposition forfaitaire (cf. art. 22 al. 3 LIFD) qui tient compte de ce que la part de revenu de chaque rente versée n'est pas constante et compense, sur la durée, la sous- et la sur-imposition inhérente au forfait. Revenir, au moment du rachat du contrat pendant la phase de versement des rentes, à une imposition effective limitée au revenu réalisé, exigerait la tenue d'une comptabilité parallèle aussi longtemps que dure le paiement des rentes, afin de pouvoir faire la part entre le remboursement du capital, non imposé, et le revenu, qui se verrait imposé en application de l'art. 20 al. 1 let. a LIFD lors du rachat, alors que toutes les rentes versées, capital et revenu, auraient été imposées forfaitairement conformément à l'art. 22 al. 3 LIFD tant que durait le contrat. Le Tribunal fédéral a rejeté un tel dualisme des méthodes, qui irait à l'encontre de la simplification voulue par le législateur (cf. ATF 131 I 409 consid. 6.1 p. 422 s.).
Si on admettait, dans le cas présent, le recours à une imposition du revenu effectivement réalisé, se poserait la question de savoir ce qu'il devrait advenir des situations où, fiscalement, le contribuable n'aurait pas avantage à requérir une imposition du revenu effectif, celle-ci s'avérant plus lourde que l'imposition forfaitaire. Une modification du système forfaitaire entraînerait des conséquences diverses, qui ne peuvent être ni appréhendées ni réglées dans un jugement qui, par définition, ne se rapporte qu'à un cas particulier. Ainsi, seul le législateur pourrait remédier à cette situation, s'il devait considérer que l'imposition forfaitaire à raison de 40 % était, d'une manière générale ou en relation avec le rachat ou le remboursement du capital, inadéquate.
Par ailleurs, en l'absence de contrôle constitutionnel des lois fédérales, le Tribunal fédéral est tenu d'appliquer celles-ci (art. 190 Cst.), même si elles conduisent à un résultat inadéquat dans un cas particulier. Il est donc vain de s'interroger sur la constitutionnalité de l'imposition forfaitaire dans le cas d'espèce.
4.5 Dans ces circonstances, il n'est pas possible de revenir sur l'ATF 135 II 183 s'agissant de l'application de l'imposition selon la méthode forfaitaire prévue à l'art. 22 al. 3 LIFD, dès que le versement en capital provenant d'une assurance de rentes viagères intervient après le différé, soit durant la période de versement des rentes. Dans un tel cas, l'impôt devra par ailleurs être calculé conformément à l'art. 38 al. 2 LIFD, soit sur la base du taux équivalant au cinquième des barèmes inscrits à l'art. 214 LIFD, dès lors qu'en 2008 le système postumerando prévalait, conformément à l'ATF 135 II 195. Ce dernier point n'est du reste pas contesté.
En l'espèce, le versement des rentes a débuté en 2007, dès la conclusion du contrat d'entretien viager. Le rachat a donc eu lieu pendant la période de versement des rentes et non durant le différé. Partant, le montant reçu à titre de rachat en 2008 devait être imposé à 40 % de la somme en application de l'art. 22 al. 3 LIFD, de manière séparée et au taux d'un cinquième des barèmes, comme prévu à l'art. 38 al. 2 LIFD. En renonçant à toute imposition, la Commission de recours a par conséquent procédé à une lecture erronée de l'ATF 135 II 183 et abouti à une solution contraire au droit fédéral.
4.6 Par conséquent, le recours doit être admis s'agissant de l'impôt fédéral direct et la décision de la Commission de recours du 17 juin 2011 annulée s'agissant de cet impôt. Dans sa décision sur réclamation du 9 novembre 2010, la Commission d'impôt des personnes physiques a calculé le montant dû par l'intimé à titre d'IFD sur la somme de CHF 178'456.- reçue de l'assurance en 2008 séparément en application des art. 22 al. 3 et 38 al. 2 LIFD. Il y a donc lieu de confirmer cette décision, qui fixe le montant d'IFD dû par l'intimé à CHF 202.80.
III. Impôts cantonal et communal
5. 5.1 Comme le Tribunal fédéral a déjà eu l'occasion de le constater, la LHID contient des règles similaires à celles de la LIFD concernant le traitement fiscal des revenus de la prévoyance et des rentes viagères dans le cadre de l'ICC (cf. art. 7 al. 1, al. 1ter, 2, 4 let. d; 9 al. 2 let. d, e et g; 11 al. 4 LHID). Il ne se justifie donc pas de traiter différemment, sous l'angle du droit cantonal harmonisé, les versements en capital provenant de rentes viagères (cf. ATF 135 II 195 consid. 9.1). Les principes posés par la jurisprudence en matière d'IFD peuvent ainsi être repris en matière d'ICC.
Le législateur valaisan a lui-même intégré les dispositions topiques de la LHID en droit cantonal (cf. en particulier les art. 18 al. 4, 20 let. b et 33b al. 1 LF/VS) et le recourant ne se plaint pas d'une transposition qui serait contraire à la LHID ni d'une application arbitraire du droit cantonal. L'intimé ne soutient pas davantage que l'admission du recours serait contraire au droit cantonal, de sorte qu'il n'y a pas lieu de revoir celui-ci.
Il suffit donc de renvoyer par analogie aux considérants relatifs à l'IFD, ce qui conduit à admettre également le recours en matière d'ICC, à annuler la décision attaquée s'agissant de cet impôt et à confirmer la décision sur réclamation du 3 novembre 2010, qui fixe l'ICC à CHF 3'141.60, soit CHF 1'428.- pour l'impôt cantonal et CHF 1'713.60 pour l'impôt communal.
IV. Frais et dépens
6. Compte tenu de l'issue du litige, les frais seront mis à la charge de l'intimé, qui succombe (art. 66 al. 1 LTF). Aucun dépens ne sera alloué, le recourant agissant dans l'exercice de ses attributions officielles (art. 68 al. 3 LTF).
Quant aux frais de la procédure cantonale mis à la charge du fisc et fixés à CHF 1'054.85, il convient de les faire supporter par l'intimé (art. 67 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 2C_906/2011 et 2C_907/2011 sont jointes.
2. Le recours est admis en ce qu'il concerne l'impôt fédéral direct.
3. Le recours est admis en ce qu'il concernent les impôts cantonal et communal.
4. La décision de la Commission de recours en matière fiscale du 17 juin 2011 est annulée et la décision sur réclamation de la Commission d'impôt du 3 novembre 2010 est confirmée.
5. Les frais judiciaires, fixés à CHF 1'500.-, sont mis à la charge de l'intimé.
6. Les frais de la procédure cantonale de CHF 1'054.85 sont mis à la charge de l'intimé.
7. Le présent arrêt est communiqué aux parties, à la Commission cantonale de recours en matière fiscale du canton du Valais et à l'Administration fédérale des contributions.
Lausanne, le 8 juin 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti