Citation: 2C_1225/2012 E. A

Y.________ S.A. (ci-après: Y.________) est une société anonyme constituée de 50 actions au porteur, d'une valeur nominale de CHF 1'000.- chacune. En juillet 1993, A.X.________ et Z.________ en sont devenus administrateurs, avec signature collective à deux, jusqu'en décembre 2001. A partir de cette date, A.X.________ était le seul administrateur, avec signature individuelle, jusqu'en novembre 2011. Dès ce moment, A.X.________ en a été administrateur avec trois autres personnes, tout en conservant la signature individuelle, contrairement aux trois autres administrateurs disposant de la signature collective à deux. C.________ SA (ci-après: C.________) est une société anonyme constituée de 50 actions au porteur, d'une valeur nominale de CHF 1'000.- chacune. En mars 1994, A.X.________ et Z.________ en sont devenus administrateurs, avec signature collective à deux, jusqu'en décembre 2001. A partir de ce moment, A.X.________ en a été le seul administrateur, avec signature individuelle. Le 30 novembre 2001, A.X.________, Z.________ et Y.________ ont signé une convention (ci-après : la convention de 2001). Z.________ cédait à A.X.________ toutes ses actions de C.________ (soit 12 actions) et de Y.________ (soit 12 actions) en échange d'un prix total de CHF 2'000'000.-. Le transfert et le règlement du prix se faisaient en quatre étapes échelonnées sur une période de trois ans à partir du paiement du premier acompte devant intervenir nonante jours après la conclusion du contrat. A chaque étape, Z.________ s'engageait à remettre à A.X.________ 3 actions de C.________ et 3 actions de Y.________. Le 25 février 2002, A.X.________ et Y.________ ont passé une convention (ci-après: la convention de 2002). A.X.________ cédait à Y.________ 36 actions de C.________ en échange d'un prix total de CHF 3'174'000.-. Le prix était majoré de 3 % par année pour les tranches subséquentes à la première échéance. Le prix de chaque action de C.________ était de CHF 88'166.-. Le transfert des actions de C.________ se ferait, chaque année, par tranche de neuf actions. La convention prévoyait explicitement la cession de neuf actions chaque 1er mars des années 2002, 2003, 2004 et 2005 pour un prix respectif de CHF 793'500.-, de CHF 817'305.-, de CHF 841'824.- et de CHF 867'079.-. Les parties s'engageaient à ce qu'une part de la somme due chaque année soit affectée au remboursement de la créance de Y.________ envers A.X.________ afin que cette créance diminue au moins de CHF 200'000.- par année. Le solde de la créance de Y.________ envers A.X.________ au 31 mars 2005 ne devait pas excéder le montant de CHF 50'000.-. Le 30 avril 2005, A.X.________ et Y.________ ont conclu un avenant à la convention de 2002. A.X.________ cédait à Y.________, au 30 avril 2005, 6 actions de C.________, au lieu des 9 actions prévues dans la convention de 2002, en échange d'un montant total de CHF 578'052.-. Le prix de chaque action de C.________ était évalué à CHF 96'342.-. Ainsi, Y.________ détenait 33 actions de C.________ et A.X.________ 17 actions de C.________. A.X.________ et Y.________ convenaient également de compenser leurs créances mutuelles. Ainsi, au 30 avril 2005, la créance de Y.________ envers A.X.________ s'élevait à CHF 5'943. S'agissant des éléments relatifs aux sociétés Y.________ et C.________, A.X.________ et son épouse ont mentionné, dans leurs déclarations fiscales 2002 à 2005, le nombre des actions que le premier possédait dans ces deux sociétés, le compte détenu par celui-ci auprès de Y.________ ainsi que la dette qu'ils avaient envers cette société. Ces éléments pouvaient être résumés sous la forme du tableau suivant: 2002 2003 2004 2005 Actions C. 32 26 20 17 Actions Y. 41 44 47 50 Intérêts dus à Y. 24472 13051 7276 3683 Dettes dues à Y. 680585 470078 181530 166571 Compte c/o Y. - rubrique «revenu» 4261 4719 4885 5056 Compte c/o Y. - rubrique «fortune» 134841 139560 144445 149500 2002 2003 2004 2005 Actions C. 32 26 20 17 Actions Y. 41 44 47 50 Intérêts dus à Y. 24472 13051 7276 3683 Dettes dues à Y. 680585 470078 181530 166571 Compte c/o Y. - rubrique «revenu» 4261 4719 4885 5056 Compte c/o Y. - rubrique «fortune» 134841 139560 144445 149500 De plus, les déclarations fiscales 2003 et 2004 comportaient, parmi les annexes, le relevé du compte de A.X.________ auprès de Y.________. Dans le relevé de 2003, il y avait un mouvement accompagné de l'annotation «PMT ACOMPTE 2EME TRANCHE ACTIONS JT» et un autre de l'annotation «VENTE 2EME TRANCHE ACTIONS C.________». Dans le relevé de 2004, il y avait un mouvement suivi de l'annotation «CESSION NEUF ACTIONS C.________/Y.________». Aucun mouvement desdits relevés n'était mis en évidence. La déclaration fiscale 2002 a fait l'objet d'un bordereau de taxation définitif pour l'impôt fédéral direct et d'un autre pour les impôts cantonaux et communaux, expédiés le 11 décembre 2003. Suite à une réclamation des contribuables, des bordereaux rectificatifs concernant l'impôt fédéral direct et l'impôt cantonal et communal 2002 ont été émis le 5 août 2004. Les déclarations fiscales 2003 à 2005 ont donné lieu, pour chacune de ces années, à un bordereau de taxation définitif pour l'impôt fédéral direct et un autre pour l'impôt cantonal et communal, qui ont respectivement été expédiés les 16 novembre 2004, 14 octobre 2005 et 19 mars 2007.