Faits: A. A.a La Fondation B._ est une fondation, constituée en 1998, qui a développé des appareils destinés à l'amélioration de l'autonomie et de la qualité de vie des personnes infirmes et dont le siège est depuis 2006 à C._. Dès la constitution de la société, A._, membre du conseil de fondation, a exercé les fonctions de secrétaire avec signature individuelle; il a démissionné de ses fonctions en septembre 2009 à la suite de divergences de vues d'avec les autres membres du conseil de fondation. A.b Le 27 juillet 2009, A._ a informé le Département valaisan de la sécurité, des affaires sociales et de l'intégration (DSSI), autorité de surveillance, que la Fondation B._ était momentanément en cessation de paiement. Une procédure ordinaire de surveillance ainsi qu'une procédure de contrôle et de suivi pour surendettement au sens de l'art. 84a CC ont été ouvertes. D'autres faits signalés par A._ en avril 2010 ont conduit l'autorité de surveillance à lui reconnaître la qualité de partie. Une expertise a été ordonnée en vue d'établir les éventuelles responsabilités en relation avec la situation de surendettement subie par la fondation et afin de déterminer si des erreurs ou des négligences imputables aux membres du conseil de fondation ou à son secrétaire avaient été commises. L'expertise, établie par D._, a conclu que la fondation n'était pas surendettée et que les problèmes financiers rencontrés n'étaient pas dus à des carences de gouvernance même si des actes de gestion discutables avaient été commis. B. B.a Par décision du 18 mars 2011, le DSSI a constaté que les actes du conseil de fondation n'appelaient pas d'intervention de sa part même si, parfois, il y avait eu violation de dispositions statutaires, notamment le comportement du conseil de fondation envers certaines sociétés, les trois versements de A._ en faveur d'une société qui lui appartenait et le salaire qu'il a octroyé à son fils. Relevant l'assainissement de la situation financière, l'autorité de surveillance a renoncé à des mesures de répression contre le conseil mais a chargé celui-ci de différentes mesures d'organisation et d'information. Les frais de la cause, y compris ceux relatifs à l'expertise à hauteur de 17'510 fr. 60, ont été répartis par moitié entre la Fondation B._ et A._. B.b Statuant sur recours de chacune des parties, le Conseil d'Etat du canton du Valais a confirmé cette décision par prononcé du 26 octobre 2011, refusant notamment d'entendre personnellement A._. B.c Par arrêt du 10 mai 2012, le Tribunal cantonal du canton du Valais a rejeté le recours formé par A._ contre cette décision. Celui-ci avait notamment requis le renvoi de la cause pour adopter des mesures de dissolution ou de démission des membres du conseil et s'était plaint de déni de justice en tant que le Conseil d'Etat n'avait pas traité les griefs relatifs à la répartition des frais de procédure. C. Le 14 juin 2012, A._ exerce un recours constitutionnel subsidiaire contre cet arrêt concluant à sa réforme en ce sens que les frais d'expertise de la situation financière de la Fondation B._ soient mis intégralement à la charge de celle-ci. Il requiert préalablement que l'effet suspensif soit attribué au recours. Ne remettant en cause que l'attribution des frais de procédure, il se plaint d'application arbitraire du droit cantonal en relation avec les art. 82 et 84 CC. La demande d'effet suspensif a été rejetée par ordonnance présidentielle du 19 juin 2012. Des observations n'ont pas été requises.