Faits:
A. Par jugement du 3 mai 2010, le Juge de district de Monthey a notamment reconnu X._ coupable de faux dans les titres (<ref-law>) et l'a condamné à une peine pécuniaire de 60 jours-amende à 30 fr. le jour, avec sursis et délai d'épreuve de 2 ans.
B. Par jugement du 15 juin 2011, le Juge de la Cour pénale II du Tribunal cantonal valaisan a partiellement admis l'appel de X._, l'a reconnu coupable de faux dans les titres (<ref-law>) et l'a condamné à 80 heures de travail d'intérêt général, avec sursis et délai d'épreuve de 2 ans.
Ce jugement se fonde en substance sur les faits suivants:
Le dénommé A._ a constitué la société de révision B._ SA. Il s'est adressé à X._, connaissance de longue date, pour fonctionner en qualité d'administrateur unique dès 1999. Celui-ci ne possédait pas de connaissances comptables et agissait comme homme de paille de A._. Son rôle se limitait à signer les documents que lui soumettait ce dernier. Il savait néanmoins ce que comportait une activité de révision. Aucune rémunération en espèces n'était prévue. Il s'agissait d'un échange de services entre les deux hommes, A._ tenant la comptabilité de X._ en contrepartie.
B._ SA était l'organe de révision C._ Sàrl. Pour un client, A._ a envisagé un montage impliquant la transformation de cette société en société anonyme (SA). Dans ce cadre, la société D._ SA, dont A._ était l'administrateur unique, a souscrit des actions de C._ SA à concurrence de 230'000 fr. par compensation avec une créance fictive de D._ SA envers C._ Sàrl. Parmi les documents devant être soumis au notaire chargé d'instrumenter la transformation, A._ a obtenu de X._ qu'il signe d'une part une attestation de l'organe de révision B._ SA du 17 décembre 2002 selon laquelle D._ SA disposait d'une créance de 230'000 fr. envers la Sàrl, et, d'autre part, un rapport du 12 mars 2003 par lequel B._ SA confirmait que le bilan de transformation de la Sàrl en SA, qui incluait la créance fictive précitée, était conforme à la loi et aux statuts.
C. X._ forme un recours en matière pénale contre ce jugement et conclut, sous suite de dépens, à son acquittement.
Le Ministère public ne s'est pas déterminé et la Cour pénale s'est référée à son jugement.

Considérant en droit:
1. Le recourant conteste sa condamnation pour faux dans les titres au sens de l'<ref-law>. Il prétend en particulier que l'élément subjectif de l'infraction n'est pas réalisé et se plaint d'arbitraire à cet égard.
1.1 Sur le plan objectif, l'autorité précédente a d'une part reproché au recourant d'avoir signé l'attestation du 17 décembre 2002 confirmant l'existence de la créance fictive de 230'000 francs, ce document mensonger constituant un faux intellectuel. D'autre part, elle a reproché au recourant d'avoir signé le rapport du 12 mars 2003 en confirmant que le bilan de transformation était conforme à la loi et aux statuts, ce qui était contraire à la vérité et constituait aussi un faux intellectuel (cf. jugement attaqué p. 19).
Pour ce qui concerne l'aspect subjectif, l'autorité précédente a mentionné que le réviseur n'était punissable pénalement pour faux dans les titres que s'il avait la conscience et la volonté de signer un rapport contenant des constatations fausses, respectivement s'il avait au moins envisagé l'infraction comme possible et l'avait acceptée pour le cas où elle se produirait (cf. jugement attaqué, p. 17 et 19). Elle a exposé que le recourant avait agi comme homme de paille de A._, qu'il avait décidé de ne pas savoir en se fiant aux seules explications de celui-ci, lequel lui avait dit que tout était en ordre en lui présentant les documents litigieux. En référence à l'arrêt publié aux <ref-ruling>, l'autorité précédente a déduit de la signature à l'aveugle de l'attestation du 17 décembre 2002 et du rapport du 12 mars 2003 par le recourant qu'il avait tenu pour possible que A._ ait pu avoir recours à des man?uvres illicites. Elle a mis en avant que le recourant avait violé son devoir de prudence et que les circonstances de la signature du rapport du 12 mars 2003, qui avait eu lieu "sur le capot d'une voiture" selon les déclarations de A._, s'interprétaient aussi comme une acceptation du risque de la part du recourant. Elle a considéré qu'en agissant sur la foi des dires de A._ selon lesquels tout était en ordre, le recourant n'avait pas exclu que les documents puissent être utilisés pour tromper autrui, c'est-à-dire pour faire croire que ceux-ci avaient été vérifiés par un organe externe et indépendant, alors que tel n'était pas le cas, et que le recourant avait ainsi agi afin de procurer un avantage à A._. L'autorité précédente a conclu que le recourant s'était accommodé du risque de certifier des faits inexacts (cf. jugement attaqué, p. 19-21).
1.2 Au vu des éléments exposés dans le jugement, on comprend que le recourant a été condamné pour avoir signé des documents en s'accommodant que leur contenu puisse être faux, celui du 17 décembre 2002 attestant faussement de l'existence d'une créance, celui du 12 mars 2003 attestant faussement que les comptes étaient conformes à la loi.
1.3 Le faux dans les titres est une infraction intentionnelle. Du point de vue subjectif, l'<ref-law> exige que l'intention porte sur tous les éléments constitutifs de l'infraction. L'auteur doit être conscient que le document est un titre. Il doit savoir que le contenu ne correspond pas à la vérité. Le dol éventuel suffit. Selon l'<ref-law>, l'auteur doit en outre agir dans le dessein de porter atteinte aux intérêts pécuniaires ou aux droits d'autrui ou de se procurer ou de procurer à un tiers un avantage illicite. Il n'est pas nécessaire que l'auteur sache en quoi consiste cet avantage. Le caractère illicite de l'avantage recherché peut résulter du but recherché, mais aussi des moyens utilisés. Enfin, l'auteur doit avoir voulu que le titre circule en passant pour véridique, ce qui présuppose l'intention de tromper. Point n'est besoin que l'auteur ait eu l'intention d'utiliser lui-même ce titre. Il suffit qu'il ait su (au sens d'un dol éventuel) qu'un tiers allait utiliser ce titre de façon trompeuse pour amener autrui à avoir un comportement ayant une portée juridique (<ref-ruling> consid. 2.2 p. 15-16 et les réf. cit.).
Savoir ce que l'auteur voulait, savait ou ce dont il s'accommodait relève du contenu de la pensée, donc de l'établissement des faits, lesquels ne peuvent être revus devant le Tribunal fédéral que sous l'angle de l'arbitraire (<ref-ruling> consid. 2.3.2 p. 156).
1.4 Contrairement à l'approche de l'autorité précédente, l'ignorance par le recourant du contenu des documents qu'il signait ne suffit pas pour admettre qu'il s'est accommodé que la comptabilité de la société anonyme puisse être fausse en raison d'une créance fictive. L'élément intentionnel ne saurait résulter du seul fait d'avoir signé sans lire. D'autre éléments sont nécessaires (cf. <ref-ruling> consid. 2.3.2 p. 17). Que le recourant se soit montré particulièrement imprudent ou qu'il ait signé les documents "sur le capot d'une voiture" ne sont pas non plus des éléments suffisants dans les circonstances d'espèce. En effet, le recourant n'avait aucune compétence pour fonctionner comme réviseur de sorte qu'une étude attentive des documents n'aurait rien changé. En sa faveur, il apparaît bien plus déterminant qu'il ait existé une relation de confiance entre lui et A._. Le recourant le connaissait depuis les années 1990. Il est devenu administrateur de B._ SA en 1999. Il se reposait sur les connaissances de A._ et n'a jamais émis de doute sur la régularité des opérations que celui-ci lui soumettait. Il ne recevait pas de rémunération et A._ tenait sa comptabilité en contrepartie. Il a démissionné de B._ SA en octobre 2003 à la suite de rumeurs sur certaines irrégularités dans les activités de A._ (cf. jugement attaqué, p. 9).
Au vu de ces éléments, il n'est pas établi que le recourant aurait dû se méfier de A._ au moment des faits litigieux. Il ne ressort pas de la procédure que certaines irrégularités avaient préalablement déjà eu lieu. Il n'y a pas non plus d'éléments permettant de retenir que la comptabilité que tenait A._ pour le recourant aurait été entachée d'irrégularités connues, voire voulues, par celui-ci. Par conséquent, nonobstant l'imprudence du recourant à servir d'homme de paille à A._, il n'existait pas d'indice permettant de considérer comme important le risque de réalisation du résultat (cf. <ref-ruling> consid. 2.3.2 p. 17). L'appréciation aurait pu être différente si le seul motif du recourant avait été l'avidité et s'il était ainsi apparu prêt à tout. Cela n'est pas le cas, sa démission en octobre 2003 dans les circonstances évoquées dans le jugement attaqué supposant même l'inverse. L'autorité précédente n'a par conséquent donné aucun motif justifié permettant de retenir la réalisation de l'élément subjectif. Sa conclusion selon laquelle le recourant a envisagé et accepté que la comptabilité puisse être fausse procède ainsi d'une appréciation arbitraire des preuves. Sous cet angle, le recours doit être admis.
1.5 Comme cela a été relevé (cf. supra consid. 1.2), l'autorité précédente a uniquement envisagé, s'agissant de la signature du rapport du 12 mars 2003, l'infraction en considération de ce que le recourant, en sa qualité d'administrateur de l'organe de révision, avait contribué par sa signature à l'établissement d'un rapport faux en attestant la régularité de la comptabilité alors qu'il avait accepté qu'elle puisse être fausse.
Pourtant, l'infraction aurait pu être abordée sous un autre angle. En effet, un rapport de révision est susceptible de constituer un faux dans les titres par exemple lorsqu'il contient de faux renseignements sur les exigences de qualification du réviseur ou lorsqu'il indique faussement que les travaux de vérification ont été effectués (cf. NIKLAUS SCHMID, La responsabilité pénale du réviseur, Publications de la Chambre fiduciaire volume 149, n. 65 p. 66). Or, en l'espèce, il ressort du rapport de révision du 12 mars 2003 - dont le contenu ne figure pas dans le jugement attaqué, l'état de fait étant complété en ce sens (<ref-law>) - la déclaration selon laquelle la révision a été effectuée selon les normes reconnues par la profession et que les exigences légales de qualification et d'indépendance sont remplies. Cette déclaration pourrait le cas échéant être constitutive de faux dans les titres. L'autorité précédente a certes évoqué que les documents litigieux pouvaient faire croire à une vérification par un organe externe et indépendant, ce qui n'était pas le cas. Mais elle a uniquement mentionné ce point pour retenir que le recourant avait agi dans le dessein de procurer un avantage à A._ (cf. jugement attaqué p. 21). Elle n'a pas concrètement abordé la question de savoir si la déclaration mentionnée ci-dessus pouvait en elle-même être constitutive de faux dans les titres. Il n'incombe pas au Tribunal fédéral de s'y consacrer plus avant à ce stade. Au vu de l'admission du grief du recourant (cf. supra consid. 1.4), la cause sera renvoyée à l'autorité cantonale, qui pourra le cas échéant se saisir de cet autre aspect en examinant si les faits pour lesquels le recourant a été renvoyé en jugement l'y autorise ou si un complément des faits reprochés est possible.
2. Vu le sort du recours et le renvoi en instance cantonale, il n'y a pas lieu de traiter l'autre grief du recourant relatif à son indemnité de dépens pour le recours cantonal.
3. Il n'y a pas lieu de percevoir de frais judiciaires (<ref-law>). Le canton du Valais versera une indemnité de dépens au recourant, qui obtient gain de cause avec l'assistance d'un avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement rendu le 15 juin 2011 par le Juge de la Cour pénale II du Tribunal cantonal du canton du Valais est annulé. La cause est renvoyée à cette autorité afin qu'elle rende une nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais judiciaires.
3. Une indemnité de 3'000 fr., à payer au recourant à titre de dépens, est mise à la charge du canton du Valais.
4. Le présent arrêt est communiqué aux parties et au Juge de la Cour pénale II du Tribunal cantonal du canton du Valais.
Lausanne, le 8 décembre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod