Faits: A. Par jugement du 3 mai 2010, le Juge de district de Monthey a notamment reconnu X._ coupable de faux dans les titres (art. 251 ch. 1 CP) et l'a condamné à une peine pécuniaire de 60 jours-amende à 30 fr. le jour, avec sursis et délai d'épreuve de 2 ans. B. Par jugement du 15 juin 2011, le Juge de la Cour pénale II du Tribunal cantonal valaisan a partiellement admis l'appel de X._, l'a reconnu coupable de faux dans les titres (art. 251 ch. 1 CP) et l'a condamné à 80 heures de travail d'intérêt général, avec sursis et délai d'épreuve de 2 ans. Ce jugement se fonde en substance sur les faits suivants: Le dénommé A._ a constitué la société de révision B._ SA. Il s'est adressé à X._, connaissance de longue date, pour fonctionner en qualité d'administrateur unique dès 1999. Celui-ci ne possédait pas de connaissances comptables et agissait comme homme de paille de A._. Son rôle se limitait à signer les documents que lui soumettait ce dernier. Il savait néanmoins ce que comportait une activité de révision. Aucune rémunération en espèces n'était prévue. Il s'agissait d'un échange de services entre les deux hommes, A._ tenant la comptabilité de X._ en contrepartie. B._ SA était l'organe de révision C._ Sàrl. Pour un client, A._ a envisagé un montage impliquant la transformation de cette société en société anonyme (SA). Dans ce cadre, la société D._ SA, dont A._ était l'administrateur unique, a souscrit des actions de C._ SA à concurrence de 230'000 fr. par compensation avec une créance fictive de D._ SA envers C._ Sàrl. Parmi les documents devant être soumis au notaire chargé d'instrumenter la transformation, A._ a obtenu de X._ qu'il signe d'une part une attestation de l'organe de révision B._ SA du 17 décembre 2002 selon laquelle D._ SA disposait d'une créance de 230'000 fr. envers la Sàrl, et, d'autre part, un rapport du 12 mars 2003 par lequel B._ SA confirmait que le bilan de transformation de la Sàrl en SA, qui incluait la créance fictive précitée, était conforme à la loi et aux statuts. C. X._ forme un recours en matière pénale contre ce jugement et conclut, sous suite de dépens, à son acquittement. Le Ministère public ne s'est pas déterminé et la Cour pénale s'est référée à son jugement.