Faits: A. Par jugement du 20 octobre 2011, la Cour des affaires pénales du Tribunal pénal fédéral (ci-après : TPF) a reconnu X._ coupable de faux dans les titres par omission (art. 251 et 11 CP). Elle l'a condamné à une peine pécuniaire de 80 jours-amende, le montant du jour-amende étant fixé à 300 fr., et a suspendu l'exécution de cette peine pour une durée de deux ans. En résumé, cette condamnation repose sur les faits suivants : Le 19 février 2003, X._ a ouvert un compte n°zzzzzzzz auprès de la banque NPB. Il a signé une formule A, qui mentionnait Y._ comme ayant droit économique des avoirs du compte. En signant cette formule, il s'est engagé, ainsi que cela figurait au bas dudit document, à communiquer à la banque tout changement de l'ayant droit économique. Du 14 août 2003 au 20 juillet 2004, date de la clôture du compte, il a procédé, sur ce compte, à diverses opérations, dont aucune au nom et pour le compte de Y._, sans pour autant renouveler la formule A, comme il s'y était engagé en signant ladite formule. B. Contre cet arrêt, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à son acquittement et éventuellement au renvoi de la cause à l'instance précédente pour nouveau jugement. Le Ministère public de la Confédération conclut au rejet du recours. Informé de la prise de position du Ministère public, le recourant dépose des observations.