Faits:
A. A._, né en 1954, et dame A._, née en 1970, se sont mariés le 20 janvier 1989 à Lausanne. Trois enfants sont issus de leur union: B._, né le 18 juillet 1997, C._, née le 24 février 1999, et D._, né le 23 août 2000.
Courant décembre 2002, les époux A._ se sont séparés. Par convention de séparation du 24 février 2003, les parties sont notamment convenues de l'attribution de la garde sur les trois enfants à la mère, sous réserve d'un droit de visite du père un week-end sur deux et pendant trois semaines de vacances.
B. Par exploit du 16 août 2006, l'épouse a cité son mari en conciliation devant la juge I du Tribunal des districts d'Hérens et Conthey (ci-après: la juge de district), concluant notamment au divorce, ainsi qu'à l'octroi de l'autorité parentale et de la garde sur les enfants, sous réserve d'un droit de visite du père, s'exerçant, à défaut d'entente, un week-end sur deux, deux semaines durant les vacances d'été et une semaine à Noël et à Pâques. Le père a notamment conclu à l'octroi de l'autorité parentale [et de la garde] sur les enfants, sous réserve d'un droit de visite de la mère. Un acte de non-conciliation a été délivré aux parties le 12 septembre 2006.
B.a Par demande du 13 octobre 2006, la mère a ouvert action en divorce devant le Tribunal des districts d'Hérens et de Conthey.
Le 27 août 2007, la juge de district a institué une curatelle de surveillance du droit de visite pendant la procédure de divorce, qu'elle a confiée à l'office pour la protection de l'enfant (ci-après: OPE).
Dans le cadre de la procédure de mesures provisoires, la juge de district a requis une expertise familiale sur les capacités éducatives respectives des parents, sur l'attribution de la garde des enfants et sur les modalités d'exercice du droit de visite du parent non gardien. Par mesures provisoires du 9 octobre 2008, elle a ensuite ordonné que le droit de visite du père s'exerce sous la surveillance de l'OPE, un week-end sur trois du vendredi soir à 18h00 au dimanche soir à 18h30 et quatre semaines par an, durant les vacances scolaires de Noël, de Pâques et d'été.
Par jugement du 13 février 2009, la juge de district a notamment prononcé le divorce, attribué à la mère l'autorité parentale et la garde sur les trois enfants, sous réserve d'un droit de visite du père un week-end sur trois et pendant quatre semaines de vacances, sous la surveillance d'un curateur. Elle a ainsi prononcé une mesure de curatelle de surveillance des relations personnelles en faveur des trois enfants.
B.b Les époux ont tous deux formé appel contre ce jugement.
Dans l'intervalle, et sur requête du père en exécution du droit de visite, la juge de district a ordonné à la mère le 8 mars 2011 de présenter au père les deux garçons, conformément à la décision de mesures provisoires du 9 octobre 2008. Elle a en revanche rejeté la requête d'exécution forcée de l'exercice du droit de visite en ce qui concerne l'enfant C._.
Statuant le 27 juillet 2011, la Cour civile II du Tribunal cantonal du canton du Valais a rejeté l'appel du père et partiellement admis l'appel de la mère. La Cour civile a ainsi réformé le jugement de première instance en ce qui concerne le droit de visite du père sur la fille des parties, de sorte qu'il doit s'exercer dès le mois de septembre 2011, à raison d'un dimanche toutes les trois semaines correspondant au week-end du droit de visite de ses frères, et, dès les vacances de Noël 2011, de la même façon que pour ses frères, à savoir un week-end sur trois semaines, une semaine à Noël et à Pâques, ainsi que deux semaines durant les vacances d'été, selon le planning établi par le curateur et sous l'obligation du père de respecter strictement les horaires et le cadre fixés.
C. Par acte du 14 septembre 2011, le père interjette un recours en matière civile au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt attaqué "dans le sens des conclusions" qu'il a prises en instance d'appel, subsidiairement au renvoi de la cause à l'autorité précédente. A l'appui de ses conclusions, le père fait valoir l'établissement arbitraire des faits (art. 9 Cst.) et la violation de l'art. 133 al. 2 CC.
Des réponses n'ont pas été requises.
Considérant en droit:
1. 1.1 L'arrêt entrepris, rendu en matière civile (art. 72 al. 1 LTF), a pour objet, outre le principe du divorce, la réglementation du droit de visite du parent non gardien (cf. infra consid. 1.2). Comme les questions soumises au Tribunal fédéral ne sont pas de nature pécuniaire, le recours est ouvert indépendamment de la valeur litigieuse (arrêts 5A_366/2010 du 4 janvier 2011 consid. 1.1, 5D_41/2007 du 27 novembre 2007 consid. 2.3). Par ailleurs, le recours a été interjeté dans le délai (art. 46 al. 1 let. b et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, contre une décision finale (art. 90 LTF) prise sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF). Le recourant ayant en outre pris part à la procédure devant l'autorité précédente et ayant un intérêt à l'annulation ou à la modification de la décision attaquée (art. 76 al. 1 LTF), le recours en matière civile est en principe recevable de ce chef.
1.2 Le recours en matière civile des art. 72 ss LTF est une voie de réforme. La partie recourante ne peut dès lors se borner à demander l'annulation de la décision attaquée, mais elle doit prendre des conclusions sur le fond du litige (arrêt 5A_835/2010 du 1er juin 2011 consid. 1.2). Les conclusions réformatoires doivent être déterminées et précises, c'est-à-dire indiquer exactement quelles modifications sont demandées (arrêt 5A_359/2011 du 7 septembre 2011 consid. 1.2.1). Exceptionnellement, de telles conclusions suffisent lorsque la motivation du recours ou la décision attaquée permet de comprendre d'emblée la modification requise (ATF 134 III 235 consid. 2 p. 236 s.; arrêt précité 5A_359/2011 consid. 1.2.1 in fine). En l'occurrence, le recourant conclut principalement à la réforme de la décision attaquée "en ce sens que son dispositif est modifié dans le sens des conclusions prises par le recourant le 12 avril 2011", subsidiairement à l'annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. En demandant l'octroi de ses conclusions d'appel formulées au débat final et intégralement retranscrites dans l'arrêt querellé, ainsi qu'au regard de la motivation de son recours, le père conclut en définitive, à titre principal, au rejet de la demande de divorce et, en tout état de cause, à l'octroi d'un droit de visite sur les enfants un week-end sur deux, ainsi que la moitié des vacances scolaires.
2. 2.1 Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 134 III 102 consid. 1.1 p. 104). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce grief a été soulevé et motivé par le recourant (ATF 137 II 305 consid. 3.3 p. 310 s.; 133 II 249 consid. 1.4.2 p. 254). Le recourant qui se plaint de la violation de tels droits doit ainsi satisfaire au principe d'allégation, en indiquant précisément quelle disposition constitutionnelle a été violée et en démontrant, par une argumentation précise, en quoi consiste la violation (art. 106 al. 2 LTF; ATF 133 IV 286 consid. 1.4 p. 287; 133 II 249 consid. 1.4.2 p. 254). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 II 396 consid. 3.1 p. 399 in fine).
2.2 Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (art. 105 al. 1 LTF); il ne peut s'en écarter que si ces faits ont été établis d'une manière manifestement inexacte - à savoir arbitraire (ATF 135 II 145 consid. 8.1 p. 153; 135 III 127 consid. 1.5 p. 129 s., 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant ne peut se plaindre de constatations de fait arbitraires que si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Il ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit plutôt indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable. Une critique qui ne satisfait pas à cette exigence est irrecevable (ATF 136 II 489 consid. 2.8 p. 494; 133 II 249 consid. 1.4.3 p. 254 s.; 130 I 258 consid. 1.3 p. 261 s.).
3. La cour cantonale a d'abord relevé que le père ne pouvait pas s'opposer au divorce, le délai de deux ans de l'art. 114 CC entre la séparation des parties en 2002 et le dépôt de la requête de conciliation en 2006 étant respecté. En dépit du fait qu'il s'oppose en définitive au principe du divorce au vu de ses conclusions devant la cour de céans, le recourant ne s'en prend pas au raisonnement de l'arrêt querellé à cet égard, ni ne motive plus avant sa conclusion. La critique du recourant ne répond pas aux exigences de motivation (art. 42 al. 2 LTF; cf. supra consid. 2.1), de sorte qu'il n'y a pas lieu d'examiner cette question dans le cadre du présent recours.
4. S'agissant ensuite du droit de visite, l'autorité cantonale a constaté qu'après la séparation, la mère s'est installée avec son compagnon et les trois enfants des parties. Depuis mars 2003, une auxiliaire éducatrice de la petite enfance veille à domicile sur les enfants durant le temps d'activité professionnelle de la mère qui exerce le métier de médecin-dentiste indépendante. Pour sa part, le père a souffert d'une longue période d'instabilité psychique postérieurement à la séparation, entraînant des troubles qui ont eu un impact négatif sur sa profession d'architecte indépendant. Il n'a plus obtenu de mandats à partir de l'automne 2003, mais a trouvé un emploi salarié à un taux de 75 %, dès le 1er janvier 2005. Après la séparation, le père a d'abord occupé un logement de vacances puis a emménagé seul dans une maison dans laquelle il peut recevoir ses enfants.
Il ressort de l'arrêt entrepris que le rapport d'expertise du 7 mai 2008 mentionne que les deux parents éprouvent un attachement très fort envers leurs trois enfants et développent de bonnes capacités éducatives, lesquelles sont équivalentes entre les deux parents en terme de qualité. Au niveau quantitatif, la mère s'est occupée des enfants de manière prépondérante depuis leur naissance, par rapport au père. Les juges cantonaux ont aussi constaté que l'expertise indiquait que la mère fait preuve d'une compréhension plus réaliste et adaptée aux besoins des enfants par rapport au père. La philosophie de vie des parents et leur façon d'appréhender les besoins des enfants divergent, de sorte que les parties se trouvent, selon l'expertise du 7 mai 2008, en compétition sur le registre parental et ne parviennent pas à mettre en place un processus de co-parentalité. Les juges cantonaux ont aussi relevé que les difficultés concernant l'exercice du droit de visite ont conduit à l'interruption des visites du père entre août 2008 et avril 2009. Une médiation au sujet de l'exercice du droit de visite, initiée entre les parents en novembre 2009, s'est soldée par un échec en été 2010. Les juges précédents ont enfin relevé que la fille des parties ne se rendait plus chez son père pour les droits de visite depuis le mois de novembre 2010.
L'expertise complémentaire du 14 février 2011 a permis à la cour cantonale de constater que les trois enfants se développent de manière harmonieuse, en dépit du conflit parental persistant. Selon les conclusions de ce complément d'expertise, l'autorité précédente a pu retenir que les deux garçons souhaitaient continuer à voir leur père régulièrement si l'aménagement des week-end correspondait mieux à leurs besoins. Quant à la fille, elle a indiqué souhaiter suspendre les visites à son père, mais a souligné que le lien avec son père demeurait important pour elle. Rappelant que le retrait de tout droit à des relations personnelles constitue l'ultima ratio et ne peut être ordonné dans l'intérêt de l'enfant que si les effets négatifs de relations personnelles ne peuvent être maintenus dans des limites supportables pour l'enfant, la cour cantonale a rejeté les conclusions de la mère tendant à la suppression du droit de visite. Elle a confirmé le droit de visite fixé par l'ordonnance de mesures provisoires du 9 octobre 2008 en ce qui concerne les deux garçons, ceux-ci ayant manifesté leur souhait de rencontrer régulièrement leur père. S'agissant de la fille, l'autorité précédente a tenu compte de son v?u de ne momentanément plus voir son père, eu égard à son besoin d'autonomie dans le conflit parental. La cour a néanmoins jugé que le droit de visite de la fille devait être repris progressivement avec l'aide du pédo-psychothérapeute de celle-ci, dès le mois de septembre 2011, à raison d'un dimanche sur trois, correspondant au week-end pendant lequel s'exerce le droit de visite du père sur ses fils, puis dès les vacances de Noël 2011, de la même manière que ses deux frères. Les juges précédents ont maintenu la curatelle éducative de surveillance du droit de visite, compte tenu de la persistance du conflit parental et du pronostic assez sombre de réduction de ce conflit.
5. Le recourant fait premièrement grief à la cour cantonale d'avoir établi les faits de manière inexacte et incomplète, ainsi que d'avoir apprécié arbitrairement (art. 9 Cst.) les éléments du dossier. Il affirme que la Cour civile a interprété les deux rapports d'expertise toujours en faveur de la mère, sans retenir les éléments du dossier qui démontraient sa propre capacité éducative. Il relève que le fait qu'il est capable d'apporter soin, affection et soutien à ses enfants n'apparaît nulle part dans l'état de fait de l'arrêt attaqué alors que cela est mentionné dans les expertises. L'autorité cantonale aurait systématiquement considéré que la relation des enfants avec leur père était préjudiciable au développement de la personnalité des premiers. En ne retenant que les éléments du dossier défavorable à l'obtention d'un large droit aux relations personnelles, le recourant estime que l'autorité précédente s'est livrée à une appréciation arbitraire des faits et des preuves, ce qui a eu pour conséquence directe que "cela empêche absolument de prévoir un droit de visite usuel en faveur [du père] et ce quand bien même toutes les conditions sont remplies".
Par ailleurs, la cour cantonale aurait aussi omis de tenir compte des éléments montrant que la relation parentale allait probablement évoluer favorablement, plaidant également en faveur d'un droit de visite plus large à moyen terme.
5.1 En matière de constatation des faits et d'appréciation des preuves, le Tribunal fédéral se montre réservé vu le large pouvoir qu'il reconnaît en ce domaine aux autorités cantonales (ATF 120 Ia 31 consid. 4b p. 40; 104 Ia 381 consid. 9 p. 399). Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans motifs objectifs de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (ATF 136 III 552 consid. 4.2 p. 560; 134 V 53 consid. 4.3 p. 62; 133 II 249 consid. 1.4.3 p. 254 s.; 129 I 8 consid. 2.1 p. 9; 118 Ia 28 consid. 1b p. 30); encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause.
Lorsque l'autorité cantonale juge une expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire des preuves que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, de quelqu'autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables que, même sans connaissances spécifiques, le juge ne pouvait tout simplement pas les ignorer (arrêt 5A_831/2010 du 14 novembre 2011 consid. 2.1). Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche consiste à examiner si l'autorité cantonale pouvait se rallier sans arbitraire au résultat de l'expertise (arrêts 5A_831/2010 du 14 novembre 2011 consid. 2.1; 5P.94/2002 du 13 mai 2002 consid. 5a; 4A_365/2011 du 13 septembre 2011 consid. 3.2).
5.2 Contrairement à ce qu'affirme le recourant, il ressort de l'arrêt attaqué que la cour cantonale a retenu, sur la base du rapport d'expertise, que le père développait de bonnes capacités éducatives, sur des périodes plus courtes mais avec autant de qualité que la mère. De même, la cour cantonale a admis que la mère n'était "pas exempte de tout reproche puisqu'elle contribue à la dynamique du couple infernal" nuisible aux intérêts des enfants. L'autorité précédente n'a pas occulté les conclusions des expertises effectuées durant la procédure, notamment les capacités éducatives et d'accueil objectives de chaque parent, et ne s'en est pas écartée. S'agissant des éléments relatifs au conflit parental que l'autorité cantonale aurait occultés et qui lui auraient permis de prévoir un droit de visite élargi à moyen terme, le père se limite à indiquer que la décision ne tient pas compte d'"éléments figurant au dossier", sans préciser en quoi "la relation allait probablement évoluer favorablement", en contradiction avec l'expertise. Le recourant ne remet d'ailleurs pas en cause le contenu des rapports d'expertise, en particulier, il ne soutient pas que l'expertise ou le complément serait entaché de vices méconnus par l'autorité cantonale. Le grief d'appréciation arbitraire (art. 9 Cst.) des faits et preuves doit être rejeté.
6. Dans un second moyen, le recourant reproche à la cour cantonale d'avoir violé l'art. 133 al. 2 CC interprété à la lumière de la jurisprudence en la matière, dès lors qu'elle se serait uniquement basée sur l'avis exprimé par la fille pour régler le droit de visite de celle-ci. Le père soutient que l'autorité cantonale devait prendre en compte, de manière objective, qu'il est nécessaire pour le développement de sa fille d'entretenir des relations personnelles aussi bien avec sa mère qu'avec son père. D'une manière plus générale, le père critique le droit aux relations personnelles - qu'il qualifie de "limité" - qui lui a été accordé avec ses trois enfants, alors que ce droit va être exercé sur une longue période, eu égard à l'âge des enfants. Il soutient qu'il devait être tenu compte également de ce qu'il est prévisible que la situation parentale conflictuelle va s'apaiser pour "évoluer vers une situation parfaitement stable". Il considère en définitive que la Cour civile a violé l'art. 133 al. 2 CC en restreignant son droit de visite sur la base des constatations faites à ce sujet depuis la séparation des parties.
6.1 Aux termes de l'art. 273 al. 1 CC (auquel renvoie l'art. 133 al. 2 CC), le parent qui ne détient pas l'autorité parentale ou la garde ainsi que l'enfant mineur ont réciproquement le droit d'entretenir les relations personnelles indiquées par les circonstances. Le droit aux relations personnelles est conçu à la fois comme un droit et un devoir de ceux-ci (arrêt 5A_127/2009 du 12 octobre 2009 consid. 4.3). Il est également considéré comme un droit de la personnalité de l'enfant qui doit servir en premier lieu l'intérêt de celui-ci (ATF 127 III 295 consid. 4a p. 298; 123 III 445 consid. 3b p. 451).
L'appréciation des circonstances de fait pour fixer le droit aux relations personnelles de l'art. 273 al. 1 CC, c'est-à-dire la détermination de leur portée juridique, est une question de droit. Le Tribunal fédéral s'impose toutefois une certaine retenue en la matière, le juge du fait qui, par son expérience en la matière, connaît mieux les parties et le milieu dans lequel l'enfant évolue, dispose d'un large pouvoir d'appréciation en vertu de l'art. 4 CC. Le Tribunal fédéral n'intervient que si le juge, sans aucun motif, a écarté des critères essentiels pour la décision sur le droit de visite des enfants ou, à l'inverse, s'est fondé sur des éléments dépourvus d'importance au regard du bien des enfants ou contrevenant aux principes du droit fédéral (ATF 120 II 229 consid. 4a p. 235; arrêt 5C.17/1991 du 19 juin 1001 consid. 2 non publié à l'ATF 117 II 353).
6.2 En l'occurrence, l'autorité précédente ne s'est pas écartée des principes jurisprudentiels en la matière, ni des propositions formulées par les experts dans leurs rapports des 7 mai 2008 et 14 février 2011 en réservant un régulier droit de visite du père. La cour cantonale a tenu compte des v?ux émis par chacun des enfants, recueillis par l'experte chargée du rapport complémentaire du 14 février 2011. L'autorité cantonale a également pris en considération l'intérêt propre des enfants au maintien à long terme des relations avec leur père (cf. supra consid. 4.1), notamment en ordonnant la réintroduction sans délai - mais progressive - d'un droit de visite de la fille qui avait cessé de se rendre chez son père depuis le mois de novembre 2010. La décision de la cour cantonale ordonnant une mesure de curatelle de surveillance du droit de visite correspond également aux conclusions des rapports des 30 novembre 2007 et 9 novembre 2009 de l'intervenante de l'OPE, laquelle a surveillé l'exercice du droit de visite et proposé aux parents un calendrier des visites depuis l'été 2007. Il ressort en effet des constatations des juges précédents - que le recourant ne critique d'ailleurs pas - que, selon l'intervenante de l'OPE, l'organisation du planning du droit de visite est source de conflits et que le droit aux relations personnelles s'exerce de manière irrégulière, la mère s'opposant aux modalités du droit de visite et le père ne parvenant pas à comprendre que ses enfants ont des activités qui font partie de leur vie d'enfant, partant, que ceux-ci devraient pouvoir les exercer également durant la période de visite. La cour cantonale a ainsi apprécié l'ensemble des circonstances de fait pour fixer l'étendue et les modalités du droit aux relations personnelles dans l'intérêt des enfants, conformément aux art. 133 al. 2 et 273 al. 1 CC. Le grief du recourant est mal fondé sur ce point.
En tant que le recourant fait grief à la Cour civile de ne pas avoir fixé un droit de visite plus étendu à moyen terme compte tenu de la prévisible réduction du conflit parental, sa critique n'est pas suffisamment motivée, partant, irrecevable (cf. supra consid. 2.1). Le père se limite à affirmer de manière péremptoire que les relations entre époux "vont finir par s'apaiser", et que, par conséquent, l'autorité cantonale devait considérer l'évolution de la situation au-delà de la fin de l'année 2011. Ce faisant, il se contente d'exposer sa version, sans faire apparaître que l'appréciation de l'autorité précédente, en particulier l'opinion des juges cantonaux selon laquelle "le pronostic est assez sombre quant à la réduction du conflit entre les parents", serait contraire au droit fédéral.
Le moyen tiré de la violation de l'art. 133 al. 2 CC doit en conclusion être rejeté, autant qu'il est recevable.
7. Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires seront mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il n'y a pas lieu d'octroyer une indemnité de dépens à l'intimée qui n'a pas été invitée à se déterminer.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour civile II du Tribunal cantonal du canton du Valais.
Lausanne, le 20 février 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin