Faits:
A. A.a Les époux X._ se sont mariés le 6 décembre 1995. Deux enfants sont issus de leur union: A._, née le 22 janvier 1997, et B._, né le 15 mars 1999.
A.b Le 21 décembre 2001, les époux ont conclu une convention de mesures protectrices de l'union conjugale, dont les effets étaient limités à trois mois, aux termes de laquelle notamment ils se partageaient la garde des enfants.
A.c Le 30 avril 2002, l'épouse a saisi le Juge du district de Sion d'une requête de mesures protectrices de l'union conjugale, en concluant à ce que le droit de garde sur les enfants lui soit attribué; dans sa détermination, l'époux a requis que la garde lui soit confiée. Statuant à titre préprovisionnel, le juge du district de Sion a, le 4 juin 2002, décidé d'accorder jusqu'à plus amples informations après enquête sociale la garde des enfants de manière conjointe au père et à la mère, conformément à l'accord trouvé entre les parties durant la procédure.
A.d Sur la base des rapports d'évaluation sociale rendus par les collaborateurs de l'Office de la protection de l'enfant (ci-après: OPE), à savoir un rapport du 1er octobre 2002 de C._ et un rapport du 19 février 2003 de D._, le Juge du district de Sion a décidé, le 28 avril 2003, d'attribuer la garde des enfants à leur mère, réservé un droit de visite au père et ordonné l'institution d'une curatelle éducative assortie d'une curatelle du droit de visite. Cette décision a été confirmée par la Cour de cassation civile du Tribunal cantonal du canton du Valais, statuant sur recours du père, le 30 juin 2003.
A.e Le 22 juillet 2003, la Chambre pupillaire de Sion a délégué à l'OPE le mandat d'exercer la curatelle éducative et du droit de visite. Dans un premier temps, D._ s'est chargé des tâches dévolues à l'OPE. Après que l'époux s'est plaint de l'attitude de ce collaborateur à son égard, l'OPE a, par gain de paix, confié en août 2003 le mandat à E._. Depuis le mois d'août 2009, F._ a repris le mandat de curateur.
B. B.a Par exploit du 24 janvier 2007, l'épouse a cité l'époux en conciliation devant le Juge du district de Sion en vue du divorce. Elle a conclu à ce que l'autorité parentale et la garde sur les enfants lui soient attribuées. L'époux a conclu à ce que celles-ci lui soient confiées.
B.b Dans le cadre de la procédure de divorce, E._ a rendu un rapport d'évaluation le 29 mai 2008. En outre, le juge a ordonné une expertise, confiée à l'institut Z._ et réalisée par G._, psychologue, sous la direction du professeur H._. L'experte a rendu son rapport le 10 juin 2008.
B.c Par jugement du 3 mars 2009, le Juge du district de Sion a, en autres points, prononcé le divorce des époux, attribué l'autorité parentale et le droit de garde sur les enfants à leur mère, réservé un droit de visite au père, maintenu la curatelle éducative assortie d'une curatelle du droit de visite, fixé les contributions dues par le père pour l'entretien de ses enfants, mis les frais de procédure et de jugement, par 2'000 fr. à la charge de l'époux, chaque partie conservant pour le surplus ses propres frais d'intervention, et mis les frais du rapport d'évaluation sociale, par 600 fr., ainsi que les frais de l'expertise judiciaire de l'institut Z._, par 5'000 fr., à la charge de l'époux.
B.d Par arrêt du 16 mars 2010, la Cour civile II du Tribunal cantonal du canton du Valais a rejeté l'appel déposé par l'époux contre ce jugement.
C. L'époux interjette le 10 mai 2010 un recours en matière civile au Tribunal fédéral contre cet arrêt, concluant à sa réforme en ce sens que l'autorité parentale et la garde sur ses enfants lui sont attribuées, le droit de visite de la mère étant réservé, et que les frais de procédure et de jugement de première instance, ainsi que les frais du rapport d'évaluation sociale de l'OPE et la moitié de ceux de l'expertise judiciaire sont mis à la charge de l'épouse, un montant de 1'000 fr. étant par ailleurs alloué à l'époux pour ses dépens d'appel et mis à la charge de l'épouse. Il se plaint d'une constatation inexacte et incomplète des faits pertinents et d'une appréciation arbitraire des preuves, ainsi que d'une violation des art. 133, 274a et 275 CC.
L'intimée n'a pas été invitée à se déterminer.
Considérant en droit:
1. Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1 p. 3).
1.1 Le recours a été déposé en temps utile (art. 100 al. 1 et 46 al. 1 let. a LTF) par la partie qui a succombé en dernière instance cantonale (art. 76 al. 1 et 75 al. 1 LTF) contre une décision finale sujette au recours en matière civile (art. 90 et 72 al. 1 LTF). Le recours porte sur l'attribution de l'autorité parentale et la garde des enfants, ainsi que sur les questions des frais des rapports d'évaluation sociale et d'expertise judiciaire qui s'y rapportent. La contestation est donc non pécuniaire dans son ensemble (arrêt 5A_49/2008 du 19 août 2008 consid. 1), si bien que le recours en matière civile est en principe recevable.
1.2 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2 p. 550). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 133 IV 150 consid. 1.2 p. 152).
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influencer le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le Tribunal fédéral n'examine en effet la violation de l'interdiction de l'arbitraire que si ce grief a été invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (principe d'allégation; ATF 133 IV 286 consid. 1.4 p. 287).
2. 2.1 Selon l'art. 133 al. 2 CC, lorsqu'il attribue l'autorité parentale et règle les relations personnelles, le juge tient compte de toutes les circonstances importantes pour le bien de l'enfant; il prend en considération une éventuelle requête commune des parents et, autant que possible, l'avis de l'enfant.
Le principe fondamental en ce domaine est l'intérêt de l'enfant, celui des parents étant relégué à l'arrière-plan. Au nombre des critères essentiels entrent en ligne de compte les relations entre les parents et l'enfant, les capacités éducatives respectives des parents, leur aptitude à prendre soin de l'enfant personnellement et à s'en occuper, ainsi qu'à favoriser les contacts avec l'autre parent; il faut choisir la solution qui, au regard des données de l'espèce, est la mieux à même d'assurer à l'enfant la stabilité des relations nécessaires à un développement harmonieux des points de vue affectif, psychique, moral et intellectuel. Si le juge ne peut se contenter d'attribuer l'enfant au parent qui en a eu la garde pendant la procédure, ce critère jouit d'un poids particulier lorsque les capacités d'éducation et de soin des parents sont similaires (ATF 115 II 206 consid. 4a p. 209; arrêts 5C.212/2005 du 25 janvier 2006 consid. 4.2 publié in Fampra.ch 2006 p. 753 et 5C.238/2005 du 2 novembre 2005 consid. 2.1 publié in Fampra.ch 2006 p. 193).
2.2 Le juge appelé à se prononcer sur le fond qui, par son expérience en la matière, connaît mieux les parties et le milieu dans lequel l'enfant est amené à vivre, dispose d'un large pouvoir d'appréciation. Le Tribunal fédéral n'intervient que lorsque le juge, sans aucun motif, a écarté des critères essentiels pour la décision sur l'attribution des enfants ou, à l'inverse, s'est fondé sur des éléments dépourvus d'importance au regard du bien de l'enfant ou contrevenant aux principes du droit fédéral (ATF 117 II 353 consid. 3 p. 354/355).
3. La cour cantonale a exposé que trois intervenants de l'OPE et une psychologue rattachée à l'institut Z._ se sont penchés successivement sur la question de l'attribution de l'autorité parentale et du droit de garde sur les enfants. A l'exception de dame C._, qui préconisait à titre provisoire le maintien de la garde partagée et, à défaut d'amélioration de la collaboration parentale, le retrait du droit de garde et le placement des enfants - solution qui ne saurait être retenue dans le cadre du divorce -, tous ont conclu à l'octroi à la mère de l'autorité parentale et du droit de garde. Les motifs sous-jacents à cette opinion commune se recoupent. Elle est également partagée par le psychologue I._ qui suit le fils des parties depuis le mois de mai 2007. L'experte et les collaborateurs de l'OPE ont mis en exergue le vif ressentiment que l'époux nourrit encore à l'égard de son épouse, qu'il ne se prive pas de communiquer à ses enfants, envenimant ainsi les relations par ailleurs harmonieuses qu'il entretient avec ceux-ci. Ne parvenant pas à faire entendre raison au père, qui contestait ses conseils et refusait de se présenter aux entretiens, dame E._ n'a eu d'autre solution que de solliciter l'intervention de la Chambre pupillaire; celle-ci a jugé opportun de sommer le père, sous la menace d'une suspension du droit de visite, de cesser son comportement de dénigrement, de respecter les choix éducatifs pris par la mère à l'égard des enfants et de répondre aux convocations de la curatrice. Si cette décision a certes été annulée sur recours en raison d'un vice de procédure, elle révèle néanmoins l'acuité du problème. Le père s'est également épanché quant aux différents griefs à l'égard de son ex-épouse dans de nombreux écrits figurant notamment au dossier de l'OPE. Son antagonisme à l'égard de la mère a interféré dans ses rapports avec les intervenants de l'OPE, accusés de ne pas être à son écoute, voire de prendre le parti de son épouse. Par gain de paix, l'OPE a accepté de relever D._ de son mandat, mais rapidement le père a mis en cause les compétences de dame E._ qui avait repris le dossier; il a tenu à son égard des propos désobligeants et ne s'est pas présenté aux rendez-vous. Actuellement il reproche à F._ de ne pas intervenir auprès de la mère que ce soit au sujet de la baisse des notes de sa fille ou du refus de la mère de laisser son fils aller à son entraînement de foot.
La mère n'est certes pas exempte de tout reproche et contribue également au dynamisme du couple infernal décrit par l'experte. Il ressort du dossier de l'OPE qu'elle trouve régulièrement matière à critiquer la prise en charge des enfants par son ex-mari que ce soit sur le plan scolaire, les loisirs ou sa ponctualité dans l'exercice du droit de visite. Il semble cependant, à la lecture du rapport, qu'elle s'abstienne d'impliquer ses enfants dans le conflit et ne dévalorise pas l'image paternelle.
L'experte, les intervenants de l'OPE et le psychologue I._ ont également insisté sur le besoin de stabilité des enfants, qui pendant des années se sont trouvés pris au milieu du conflit qui divise leurs parents. De ce point de vue, tous ont déconseillé un changement de garde, afin de ne pas compromettre leur équilibre déjà fragile. C'est à tort que le père critique la solution actuelle qui recourt à l'aide des grands-parents maternels et oblige ainsi les enfants à se rendre dans trois foyers différents. Tous les spécialistes de l'enfance ont en effet souligné le rôle positif tenu par les grands-parents qui offrent aux enfants un cadre de vie protégé, harmonieux et neutre et contribuent à leur équilibre en s'abstenant de s'impliquer dans la querelle. La fille des parties a d'ailleurs ouvertement exprimé son souhait de continuer à se rendre régulièrement chez ses grands-parents. Le fils a également admis qu'il aimait dormir chez ses grands-parents. Les enfants eux-mêmes ont confirmé que la situation actuelle, qui dure depuis sept ans, leur convenait. La fille a même précisé qu'elle ne souhaitait pas un changement de garde, alors que le fils n'a pas voulu exprimer sa préférence pour l'une ou l'autre solution, vraisemblablement de peur de blesser l'un de ses parents.
4. 4.1 Après un long exposé de sa propre version des faits, représentant près de la moitié de son écriture, le recourant reproche à la cour cantonale d'avoir constaté les faits pertinents de manière inexacte et incomplète ainsi que de les avoir interprétés arbitrairement. Il invoque qu'il ressortirait des pièces, des déclarations des parties et des témoins, ainsi que des différents dossiers versés en cause que les parties ont exercé la garde alternée sur leurs enfants à compter du mois de décembre 2001 jusqu'à la fin du mois d'avril 2003, que, de son aveu même à l'experte G._, l'intimée ne souhaite avoir aucun contact avec lui, de sorte qu'il n'a d'autre alternative que de s'adresser à l'OPE pour toutes affaires concernant ses enfants et que chacune de ses demandes, respectivement chaque signalement d'un quelconque problème que rencontrent les enfants ont systématiquement été interprétés par les collaborateurs de l'OPE, par le juge des mesures protectrices de l'union conjugale, par le juge du divorce ainsi que par l'autorité d'appel comme l'expression - inexacte - de la volonté de mettre en doute les compétences éducatives de la mère. Ce faisant, se fondant sur une interprétation particulièrement abusive de son comportement et de ses intentions, la cour cantonale aurait, à l'instar du juge de première instance, retenu qu'il nourrissait un vif ressentiment à l'égard de son ex-femme. Or, il s'insurgerait essentiellement contre le refus de l'intimée de communiquer et contre la façon dont il a été traité par l'OPE depuis que ce dossier lui a été confié. La cour cantonale aurait ainsi manifestement confondu l'intérêt que le recourant porte à ses enfants et le souci légitime qu'il se fait pour eux, avec le prétendu ressentiment que l'autorité lui impute à l'égard de son ex-épouse, dont l'autorité intimée a tiré qu'il avait une attitude nocive pour les enfants qui seraient ainsi impliqués dans le conflit parental, ce qui justifiait, pour partie, que l'autorité parentale et la garde sur les enfants soient attribuées à la mère.
4.2 Par cette critique, toute générale, le recourant ne démontre pas l'inexactitude des constatations cantonales ni le caractère arbitraire de leur appréciation. Il se borne à substituer sa propre appréciation des preuves et à exposer comment son comportement aurait dû être interprété par les juges précédents; de nature purement appellatoire, son grief est irrecevable (cf. supra, consid. 1.3).
5. 5.1 Le recourant se plaint ensuite d'une violation des art. 133 al. 1, 2 et 3, 274a al. 1 et 2 et 275 al. 2 et 3 CC. Il fait valoir que l'intimée travaille en qualité de barmaid en soirée, de 18h30-19h00 à 3h00-4h00 du mercredi au samedi; en plus des horaires officiels d'ouverture du local, elle travaille également le mardi matin. Le foyer maternel est ainsi partagé avec le foyer des grands-parents, à raison de quatre soirées par semaine. L'intimée a elle-même indiqué à l'experte G._ réussir à concilier l'exercice des responsabilités de parent-gardien et ses obligations professionnelles avec le soutien de ses parents. Ceux-ci sont véritablement les garants de la stabilité de l'intimée. Ils sont âgés de 67 et 75 ans. La solution ordonnée par la cour cantonale consacrerait de facto une garde partagée entre la mère et les grands-parents, alors que le recourant s'oppose catégoriquement à cette solution, et ce sans que l'autorité n'ait rendu de décision formelle quant à l'attribution d'un droit aux relations personnelles aux grands-parents. Or, celui-ci est subordonné à l'existence de circonstances exceptionnelles conformément à l'art. 274a al. 1 CC. L'exercice de cette "garde alternée" empiéterait sur les droits que le recourant revendique en sa qualité de père.
5.2 Cette critique est dénuée de pertinence. Selon l'art. 274a al. 1 CC, dans des circonstances exceptionnelles, le droit d'entretenir des relations personnelles peut aussi être accordé à d'autres personnes, en particulier à des membres de la parenté, à condition que ce soit dans l'intérêt de l'enfant. Cet article vise notamment le droit que pourraient revendiquer les grands-parents (arrêt 5A_831/2008 du 16 février 2009 consid. 3.2, in FamPra.ch 2009 p. 505 et les références). Il peut trouver application lorsque l'un des parents est décédé, afin de permettre aux grands-parents d'entretenir des relations personnelles avec leurs petits-enfants, ou lorsque le parent fait obstacle à celles-ci. En revanche, les grands-parents n'ont en principe pas un droit propre à entretenir des relations personnelles avec leur petits-enfants, en dehors du droit aménagé par le divorce en faveur de leur enfant (HEGNAUER, Berner Kommentar, n° 19 et 21 ad art. 274a CC).
5.3 En l'espèce, il n'est pas question d'accorder un droit de visite aux parents de l'intimée, qui correspondrait comme le soutient le recourant à une "garde alternée de fait". L'intimée, titulaire de l'autorité parentale et du droit de garde sur ses enfants, est libre de confier ceux-ci à ses parents, dans les limites imposées par le bien des enfants. Or, la cour cantonale retient à cet égard que la solution adoptée par l'intimée lorsqu'elle travaille, à savoir que les enfants dorment chez leurs grands-parents, est conforme à leur intérêt, dans la mesure où ceux-ci leur offrent un cadre de vie protégé, harmonieux et neutre et contribuent à leur équilibre en s'abstenant de s'impliquer dans la querelle. Partant, le grief du recourant est infondé.
Enfin, en tant qu'il soutient qu'il dispose d'une situation très stable depuis 2008, si ce n'est depuis 2006 déjà, qu'il a un travail régulier, un salaire régulier, vit dans une villa individuelle à xxx avec son amie (depuis 2006), laquelle a noué des liens privilégiés avec ses enfants, alors que l'intimée a des horaires de travail ne lui permettant pas d'assurer l'encadrement quotidien des enfants sans que ceux-ci ne passent la moitié de leur temps auprès de leurs grands-parents, sa critique ne suffit à démontrer que la cour cantonale aurait violé le droit fédéral en attribuant à l'intimée l'autorité parentale et la garde des enfants. Les juges précédents ont rappelé l'ensemble des éléments pertinents pour déterminer à quel parent celles-ci doivent être confiées et appliqué ces principes au cas d'espèce de manière conforme à la loi et à la jurisprudence.
6. Le recourant conclut enfin à ce que les frais de l'évaluation sociale de l'OPE, ainsi que la moitié des frais de l'expertise judiciaire confiée à l'institut Z._ soient mis à la charge de l'intimée. Ces conclusions sont toutefois dépourvues de motivation; partant, elles sont irrecevables (cf. supra, consid. 1.2). Pour le surplus, il n'y a pas lieu de revoir la répartition des frais de procédure et dépens mis à la charge des parties par les instances cantonales, dans la mesure où l'arrêt attaqué doit être confirmé.
7. Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires. Il n'y a pas lieu d'allouer des dépens à l'intimée, qui n'a pas été invitée à se déterminer.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 10 juin 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Aguet