Faits:
A. A.a La Fondation B._ est une fondation, constituée en 1998, qui a développé des appareils destinés à l'amélioration de l'autonomie et de la qualité de vie des personnes infirmes et dont le siège est depuis 2006 à C._. Dès la constitution de la société, A._, membre du conseil de fondation, a exercé les fonctions de secrétaire avec signature individuelle; il a démissionné de ses fonctions en septembre 2009 à la suite de divergences de vues d'avec les autres membres du conseil de fondation.
A.b Le 27 juillet 2009, A._ a informé le Département valaisan de la sécurité, des affaires sociales et de l'intégration (DSSI), autorité de surveillance, que la Fondation B._ était momentanément en cessation de paiement. Une procédure ordinaire de surveillance ainsi qu'une procédure de contrôle et de suivi pour surendettement au sens de l'<ref-law> ont été ouvertes. D'autres faits signalés par A._ en avril 2010 ont conduit l'autorité de surveillance à lui reconnaître la qualité de partie. Une expertise a été ordonnée en vue d'établir les éventuelles responsabilités en relation avec la situation de surendettement subie par la fondation et afin de déterminer si des erreurs ou des négligences imputables aux membres du conseil de fondation ou à son secrétaire avaient été commises. L'expertise, établie par D._, a conclu que la fondation n'était pas surendettée et que les problèmes financiers rencontrés n'étaient pas dus à des carences de gouvernance même si des actes de gestion discutables avaient été commis.
B. B.a Par décision du 18 mars 2011, le DSSI a constaté que les actes du conseil de fondation n'appelaient pas d'intervention de sa part même si, parfois, il y avait eu violation de dispositions statutaires, notamment le comportement du conseil de fondation envers certaines sociétés, les trois versements de A._ en faveur d'une société qui lui appartenait et le salaire qu'il a octroyé à son fils. Relevant l'assainissement de la situation financière, l'autorité de surveillance a renoncé à des mesures de répression contre le conseil mais a chargé celui-ci de différentes mesures d'organisation et d'information. Les frais de la cause, y compris ceux relatifs à l'expertise à hauteur de 17'510 fr. 60, ont été répartis par moitié entre la Fondation B._ et A._.
B.b Statuant sur recours de chacune des parties, le Conseil d'Etat du canton du Valais a confirmé cette décision par prononcé du 26 octobre 2011, refusant notamment d'entendre personnellement A._.
B.c Par arrêt du 10 mai 2012, le Tribunal cantonal du canton du Valais a rejeté le recours formé par A._ contre cette décision. Celui-ci avait notamment requis le renvoi de la cause pour adopter des mesures de dissolution ou de démission des membres du conseil et s'était plaint de déni de justice en tant que le Conseil d'Etat n'avait pas traité les griefs relatifs à la répartition des frais de procédure.
C. Le 14 juin 2012, A._ exerce un recours constitutionnel subsidiaire contre cet arrêt concluant à sa réforme en ce sens que les frais d'expertise de la situation financière de la Fondation B._ soient mis intégralement à la charge de celle-ci. Il requiert préalablement que l'effet suspensif soit attribué au recours. Ne remettant en cause que l'attribution des frais de procédure, il se plaint d'application arbitraire du droit cantonal en relation avec les art. 82 et 84 CC.
La demande d'effet suspensif a été rejetée par ordonnance présidentielle du 19 juin 2012.
Des observations n'ont pas été requises.

Considérant en droit:
1. Le recevabilité du recours ayant pour objet une question accessoire, telle que la répartition des frais et dépens, se détermine en fonction de la cause principale, dans la mesure où aucune procédure spéciale n'est prévue (<ref-ruling> consid. 1.1; <ref-ruling> consid. 1.1; arrêts 5D_86/2012 du 14 septembre 2012 consid. 1 et 4A_420/2008 du 9 décembre 2008 consid. 1.1). Le litige au fond porte sur la surveillance d'une fondation, à savoir sur une question relevant du droit public mais dans une matière connexe au droit civil (art. 72 al. 2 let. b ch. 4 LTF); il est de nature pécuniaire dès lors que la surveillance des fondations tend à ce que les biens des fondations soient employés conformément à leur destination (<ref-law>; arrêt 5A_657/2010 du 17 mars 2011 consid. 1.1).
En cas de recours dont l'objet porte exclusivement sur les frais et dépens, lorsque le fond de la cause était encore litigieux devant l'autorité cantonale, la valeur litigieuse devant le Tribunal fédéral se détermine selon ces conclusions au fond. Le recours en matière civile est donc recevable lorsque les conclusions encore en cause devant l'autorité précédente atteignaient la valeur litigieuse requise, même si les frais et dépens restent pour leur part en dessous de cette valeur (<ref-law>; <ref-ruling> consid. 1.2.2). En revanche, lorsque seuls les frais et dépens étaient litigieux devant l'autorité cantonale, à l'exclusion du fond de la cause, la valeur litigieuse devant le Tribunal fédéral se détermine selon ces seules conclusions relatives aux frais et dépens (arrêts 5D_86/2012 du 14 septembre 2012 consid. 1 et 5A_396/2012 du 5 septembre 2012 consid. 1.2).
En l'espèce, le recourant a requis, devant l'instance précédente, outre la prise en charge des frais de procédure par la Fondation B._, la dissolution de la fondation dont il ressort du dossier qu'elle disposait, en mars 2010, d'actifs à hauteur d'au moins 340'000 fr. de sorte que le seuil de 30'000 fr. (<ref-law>) est largement atteint. Le recours en matière civile est donc ouvert et le recours constitutionnel subsidiaire irrecevable. Cela étant, un recours mal intitulé ne nuit pas à son auteur mais doit être converti si les conditions de recevabilité du recours qui aurait dû être interjeté sont réunies (<ref-ruling> consid. 1.2). Tel est le cas en l'espèce dès lors que le recours a été déposé en temps utile (<ref-law>) et dans la forme requise (<ref-law>), par une partie ayant pris part à la procédure devant l'autorité précédente et ayant un intérêt à l'annulation ou à la modification de la décision attaquée (<ref-law>); il est en outre dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale de dernière instance, statuant sur recours (<ref-law>).
2. 2.1 Le Tribunal fédéral applique le droit d'office (<ref-law>) sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 2.2). Il ne connaît cependant de la violation des droits fondamentaux ou du droit cantonal que si ce grief a été soulevé et motivé (<ref-law>; <ref-ruling> consid. 3.2; <ref-ruling> consid. 1.4.2). Si le recourant se plaint de la violation de tels droits, il doit ainsi satisfaire au principe d'allégation (Rügeprinzip, principio dell'allegazione), en indiquant précisément quelle disposition constitutionnelle ou légale a été violée et en démontrant, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.4.2).
2.2 Saisi d'un recours en matière civile, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte (<ref-law>), c'est-à-dire que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF <ref-ruling> consid. 1.2.2), doit satisfaire au principe d'allégation susmentionné (consid. 2.1).
Lorsque le recourant entend faire compléter les faits - pertinents et qui n'auraient pas été constatés en violation du droit -, il doit les désigner avec précision en se référant aux pièces du dossier; le complètement suppose en effet que les allégations de fait correspondantes aient été introduites régulièrement et en temps utile dans la procédure cantonale, qu'elles aient été considérées à tort comme dépourvues de pertinence ou aient été simplement ignorées; si ces exigences ne sont pas respectées, les faits invoqués sont réputés nouveaux (<ref-law>), partant irrecevables (arrêt 5A_338/2010 du 4 octobre 2010 consid. 3, in SJ 2011 I p. 185; cf. à propos de l'art. 55 al. 1 let. c OJ : <ref-ruling> consid. 2a et la jurisprudence citée).
3. Il ne sera pas tenu compte des allégations de la partie «Faits» du recours, qui ne sont que la reprise partielle de l'exposé des faits présenté devant l'autorité cantonale et qui diffèrent de l'état de fait contenu dans la décision entreprise. Une telle manière de faire ne répond pas aux exigences de motivation en la matière (cf. supra, consid. 2.2).
Doivent aussi être écartés le courrier du recourant du 18 septembre 2012 et la décisions de la DSSI qui y est jointe. L'<ref-law> exclut en effet la présentation de vrais faits nouveaux (vrais nova), soit de faits qui se sont produits, comme en l'espèce, postérieurement à la décision attaquée, dans les procédures de recours au Tribunal fédéral (<ref-ruling> consid. 2.1).
4. Devant le Tribunal fédéral, seule demeure litigieuse la question de la répartition des frais liés à l'expertise mise en ?uvre dans le cadre de la procédure de surveillance de la Fondation B._.
4.1 À teneur de l'art. 5 al. 1 de la loi valaisanne d'application du code civil suisse du 24 mars 1998 (LACCS/VS; RS/VS 211.1), la loi sur la procédure et la juridiction administratives est applicable, sous réserve des dispositions du droit fédéral, aux décisions relevant du droit civil prises par les autorités administratives. Selon l'art. 88 al. 1 de la loi valaisanne sur la procédure et la juridiction administratives du 6 octobre 1976 (LPJA/VS; RS/VS 172.6), celui qui provoque ou requiert une démarche de l'administration acquitte l'émolument fixé par l'autorité; il peut être tenu de rembourser tout ou partie des débours.
L'art. 16 al. 2 de l'ordonnance générale d'exécution de la loi valaisanne d'application du code civil suisse du 4 octobre 2000 (OgLACCS/VS; RS/VS 211.100) prévoit que l'autorité de surveillance des fondations dispose, en respectant le principe de proportionnalité, des pouvoirs les plus étendus et que, notamment, elle peut procéder ou faire procéder, le cas échéant, aux frais de la fondation, à des enquêtes et à des expertises comptables (let. b) ou peut mandater, aux frais de la fondation, des tiers chargés d'ouvrir une action civile en responsabilité contre les organes coupables de manquements dans la gestion du patrimoine (let. e).
4.2 La cour cantonale a considéré que la règle générale de procédure applicable en matière de surveillance des fondations est la LPJA/VS en vertu du renvoi de l'art. 5 de la LACCS/VS, les dispositions de l'OgLACCS/VS ne devant être comprises que comme des normes complémentaires applicables dans des situations spécifiques. Aussi, elle a considéré que la règle de l'art. 16 al. 2 OgLACCS/VS qui prévoit la mise à la charge de la fondation des frais de mandat (let. e), d'expertise ou d'enquête (let. b) peut être interprétée comme ne visant que les opérations ordinaires où seule la fondation est partie à la procédure mais que la question des frais en général demeure réglée par l'art. 88 LPJA/VS, en particulier lorsque l'autorité sort du cadre de l'examen ordinaire des comptes annuels, objet de principe de l'article 16 OgLACCS/VS, ou si la procédure est engagée et animée par un plaignant agissant pour la préservation de ses droits. Elle en a déduit qu'une répartition des frais entre le recourant et la fondation comme le permet l'art. 88 LPJA/VS était justifiée.
4.3 Le recourant invoque une application arbitraire du droit cantonal ainsi qu'une violation des <ref-law> en tant que la cour cantonale n'a pas fait supporter les frais d'expertise à la seule Fondation B._. Il avance que l'expertise a été mise en ?uvre à la demande de la fondation et que l'autorité de surveillance n'a fait que de mettre en ?uvre les principes prévus par l'art. 16 al. 2 let. b OgLACCS/VS dont le texte clair impose de mettre les frais à la charge de la fondation. Il précise également que cet article ne fait aucune distinction entre procédure ordinaire et extraordinaire ou procédure unilatérale et bilatérale de sorte que des frais ne pouvaient être mis à sa charge.
4.4 À titre liminaire, il y a lieu de relever que l'argumentation du recourant repose sur un fait qui n'a été constaté ni par la cour cantonale ni par l'instance précédente. Or, celui-ci ne mentionne nullement dans son recours au Tribunal fédéral que, en procédure cantonale, il aurait allégué et offert de prouver, en indiquant précisément des passages de ses écritures et les pièces y relatives (cf. supra consid. 2.2), que l'expertise avait été ordonnée à la demande de la Fondation B._. Ce fait se révèle par conséquent nouveau, partant irrecevable.
Pour le reste, les griefs soulevés s'agissant de l'application des dispositions du droit cantonal ne permettent pas de qualifier d'insoutenable l'interprétation qu'en a faite la cour cantonale. Il n'est en effet pas arbitraire de considérer que les dispositions spécifiques de l'OgLACCS/VS ne valent que pour les procédures de surveillance ordinaires n'impliquant que la fondation et d'appliquer la disposition procédurale générale relative aux frais en cas de procédure de surveillance opposant la fondation à son ex-secrétaire. La critique du recourant est donc infondée.
5. En définitive, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens, des réponses n'ayant pas été requises (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de droit public du Tribunal cantonal du canton du Valais.
Lausanne, le 30 novembre 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Richard