Faits: A. Né en 1932 et domicilié à A._, X._ a conclu avec effet au 1er septembre 2007 une assurance de rentes viagères à prime unique d'un montant de CHF 200'000.- auprès de l'assurance Y._ SA (ci-après Y._) dans le cadre de la prévoyance individuelle libre (pilier 3b). La rente annuelle garantie dès le 1er septembre 2007 s'élevait à CHF 12'011.60, payable trimestriellement. En 2007, X._ a perçu à titre de rentes CHF 3'348.80. En 2008, il a touché CHF 6'667.40, avant qu'il ne résilie le contrat avec Y._ et demande le rachat de son assurance. Le 11 août 2008, il a obtenu de Y._ un versement de CHF 178'576.10. B. Le 15 juin 2010, ayant été informé de ce versement, le Service cantonal des contributions du canton du Valais (ci-après le Service cantonal) a imposé le capital de CHF 178'576.10 dans le cadre de l'imposition ordinaire 2008 en matière d'impôt fédéral direct (ci-après IFD) et d'impôts cantonal et communal (ci-après ICC) à raison de 40 % de la somme aux taux et selon les règles prévues pour les contrats d'entretien viager. A la suite d'une réclamation formée par X._, le Service cantonal a modifié sa taxation le 8 juillet 2010 et fait bénéficier le contribuable d'un taux d'impôt réduit, calculé en fonction de la rente annuelle et de ses autres revenus imposables. Le 3 novembre 2010, la Commission d'impôt des personnes physiques du canton du Valais a partiellement admis la nouvelle réclamation formée par X._. Elle a imposé séparément, à raison de 40 % de la somme et à un barème réduit, le montant de CHF 178'576.10 provenant du rachat de la police d'assurance de rentes viagères, aboutissant à un montant d'ICC de CHF 3'141.60, soit CHF 1'428.- pour l'impôt cantonal et CHF 1'713.60 pour l'impôt communal, et à un montant d'IFD de CHF 202.80. Saisie d'un recours formé par X._, la Commission de recours en matière fiscale du canton du Valais (ci-après la Commission de recours), par décision du 17 juin 2011, a admis le recours et annulé la décision attaquée, considérant qu'il convenait de renoncer à toute imposition s'agissant de la somme de CHF 178'546.- versée par Y._ en 2008, tant en matière d'ICC que d'IFD. C. A l'encontre de la décision du 17 juin 2011, notifiée le 5 octobre 2011, le Service cantonal forme un recours en matière de droit public au Tribunal fédéral. Il conclut, avec suite de frais à la charge du contribuable, à l'admission du recours et à la confirmation de la décision sur réclamation du 3 novembre 2010, subsidiairement au renvoi du dossier à la Commission de recours pour nouvelle décision au sens de son recours. Aux termes de ses déterminations, X._ demande que la décision de la Commission de recours soit confirmée. Cette dernière conclut au rejet du recours en renvoyant à sa décision. Dans sa prise de position, l'Administration fédérale des contributions a déclaré partager entièrement l'avis du Service cantonal et a proposé l'admission du recours. Le 8 juin 2012, la Cour de céans a délibéré sur les recours en séance publique.