Faits:
A. A.a A._, née en 1991, ainsi que B._ et C._, nés en 1996, sont les enfants des époux X._. Ils vivent depuis le mois de novembre 2001 à D._, où leur mère les a rejoints définitivement au mois de novembre 2004.
A.b Le 4 avril 2001, dame X._ a déposé une plainte pénale contre X._ pour viols répétés à son égard et actes d'ordre sexuel sur leurs trois enfants. Les charges d'abus sexuels sur les enfants ont été abandonnées par le Ministère public grison au mois d'octobre 2002 et X._ a été libéré de l'accusation de viol sur son épouse par le Tribunal cantonal du canton des Grisons au mois de juillet 2003.
A.c Dans le cadre de la procédure de divorce ouverte par dame X._, une expertise judiciaire a été rendue le 14 octobre 2005 par le Service de psychiatrie pour Enfants et Adolescents du Secteur psychiatrique d'Yverdon-les-Bains. Il en ressort que les enfants ne présentent de façon générale pas de symptômes psychiatriques, sauf lorsqu'ils évoquent le thème du père et celui de la protection, domaines où ils deviennent alors délirants. De l'avis des experts, ces propos délirants sont à mettre sur le compte d'une très longue période au cours de laquelle ils ont subi un lavage de cerveau avec création de faux souvenirs et réalités inexistantes. La mère souffre d'un grave trouble psychiatrique qui se traduit par des convictions et des propos délirants dans le domaine de la sexualité, de la grossesse et de la protection. Dans la mesure où elle a dû répéter les épisodes de maltraitance suffisamment de fois pour que les trois enfants en soient imprégnés, les experts parlent de maltraitance psychologique de la part de la mère.
Le divorce des époux X._ a été prononcé le 21 juillet 2006 au Tessin; le juge saisi a ratifié la convention conclue par les parties qui attribuait à la mère l'autorité parentale et la garde des trois enfants et prévoyait le rétablissement des relations personnelles entre le père et les enfants selon les modalités devant être ordonnées par l'autorité tutélaire.
B. B.a Le 30 août 2006, le Juge de paix du district de Moudon a ouvert une enquête en limitation de l'autorité parentale de la mère sur ses enfants. Le Ministère public a émis un préavis en faveur du retrait de l'autorité parentale et du droit de garde de la mère. Les relations entre le père et les enfants ont repris au mois de décembre 2006 dans un milieu protégé. En avril 2007, le Service de protection de la jeunesse (ci-après: SPJ) a indiqué que les visites se passaient correctement; en août 2007, il a confirmé cette analyse, précisant que les visites devaient avoir lieu dans un Point Rencontre. En janvier 2008, il a constaté que les enfants n'avaient aucune envie de voir leur père, dont ils avaient peur; il en a déduit une détérioration de la relation père-enfants. D'autres intervenants ont posé des constats identiques: aux dires de la coordinatrice du Point Rencontre, les enfants lui semblaient en grande souffrance et extrêmement démunis; selon le pasteur E._, lequel évoque des risques de suicide si "cette politique d'aller de l'avant à tout prix" se poursuit, les rencontres avec le père sont improductives et frustrantes; enfin, la pédo-psychiatre qui suit les enfants depuis 2001 est d'avis qu'une séparation d'avec leur mère leur serait dommageable. Pour sa part, la psychologue, auteure de l'expertise du 14 octobre 2005, a affirmé que son rapport était encore d'actualité, faute d'évolution de la situation. En dernier lieu, le SPJ a renoncé à un placement des enfants et mentionné la bonne éducation donnée par la mère, hormis en ce qui concerne le père.
B.b Par décision du 5 mars 2008, le Juge de paix du district de Moudon a, entre autres points, clos l'enquête en limitation de l'autorité parentale de la mère sur ses enfants, renoncé à instituer une mesure de protection au sens de l'art. 307 CC et refusé d'accorder au père un droit de visite sur les enfants.
B.c Par arrêt du 4 septembre 2008, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a partiellement admis le recours du père et annulé le chiffre du dispositif relatif au droit de visite du père; elle a estimé qu'on ne pouvait exclure en l'état tout droit de visite du père sur ses fils, ce qui imposait que la cause fût renvoyée à l'autorité inférieure pour nouvelle décision. L'ordonnance de première instance a été confirmée pour le surplus.
C. Contre cet arrêt, le père interjette un recours en matière civile au Tribunal fédéral, concluant à sa réforme en ce sens que l'autorité parentale sur les enfants est retirée à leur mère pour lui être confiée, que le droit de garde sur les enfants est confié au SPJ, à charge pour lui de trouver une institution ou une famille d'accueil où ils pourront être placés, qu'aucun droit de visite n'est accordé à la mère, qu'une thérapie des enfants est mise en oeuvre dans le but de favoriser leur retour auprès du père, lequel exercera son droit de visite dans l'intervalle par l'intermédiaire de l'institution "Trait d'union" de la Croix-Rouge. Il se plaint d'une violation des art. 9 et 11 Cst., 3, 6 et 20 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107), ainsi que 307, 310 et 311 CC.
La mère et le curateur des enfants concluent au rejet du recours. La cour cantonale se réfère aux termes de son arrêt.
Considérant en droit:
1. Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (ATF 134 III 115 consid. 1 p. 117).
1.1 Interjeté dans le délai légal (art. 46 al. 1 let. c et 100 al. 1 LTF) par une partie qui a succombé dans ses conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue en matière de protection de l'enfant (art. 72 al. 2 let. b ch. 7 LTF) par la dernière juridiction cantonale (art. 75 al. 1 LTF), le recours en matière civile est en principe recevable.
1.2 Saisi d'un recours en matière civile, le Tribunal fédéral conduit son raisonnement sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF); il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte, c'est-à-dire que les constatations de fait sont arbitraire au sens de l'art. 9 Cst. (ATF 133 II 29 consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation. Le tribunal fédéral n'examine en effet ce grief que s'il a été invoqué et motivé (art. 106 al. 2 LTF) par le recourant, à savoir s'il a été expressément soulevé et exposé de façon claire et détaillée (principe d'allégation; ATF 133 IV 286 consid. 1.4 p. 287).
1.3 Le recours en matière civile peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), qui comprend les droits constitutionnels (ATF 133 III 446 consid. 3.1 p. 447, 462 consid. 2.3 p. 466). Le Tribunal fédéral applique en principe le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2 p. 550). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 134 III 102 consid. 1.1 p. 104/105). Il ne connaît de la violation de droits fondamentaux ou du droit cantonal que si ce grief a été soulevé et motivé par le recourant (art. 106 al. 2 LTF), ces exigences de motivation correspondant à celles de l'ancien art. 90 al. 1 let. b OJ (ATF 134 II 349 consid. 3 p. 351/352 et les arrêts cités).
2. La cour cantonale a considéré que les conditions pour retirer à la mère le droit de garde sur ses enfants apparaissent réunies: l'expertise du 14 octobre 2005 est toujours d'actualité; la mère est responsable de maltraitance psychologique envers ses enfants, en créant chez eux un faux souvenir traumatique auquel ceux-ci adhèrent envers et contre tout et le développement des enfants est gravement compromis s'ils restent chez elle. Néanmoins, la solution du retrait de garde est impraticable. Les enfants sont socialement intégrés dans le village où ils vivent depuis 2001; ils ont des résultats scolaires satisfaisants et, hormis en relation avec ce qui a trait au père, la mère est adéquate. Les juges précédents se sont, pour le surplus, référés à l'appréciation du SPJ, selon lequel les enfants ressentiraient comme une terrible injustice le fait de devoir sortir de leur cadre de vie; il serait trop tard pour envisager une mesure de protection telle que le retrait du droit de garde à la mère, une telle solution impliquant des risques importants pour les enfants, notamment un risque suicidaire. En définitive, la cour cantonale a estimé que la solution de laisser les enfants dans un contexte maltraitant apparaît moins dommageable que de les séparer de leur mère.
3. 3.1 Le recourant se plaint tout d'abord d'une violation de l'art. 9 Cst. en rapport avec l'établissement des faits sur lesquels s'est fondée la cour cantonale pour refuser de retirer à la mère la garde des enfants; il lui fait grief d'avoir apprécié de manière arbitraire les preuves et d'avoir violé la maxime inquisitoire.
3.2 La jurisprudence reconnaît au juge un important pouvoir d'appréciation dans la constatation des faits et leur appréciation, qui trouve sa limite dans l'interdiction de l'arbitraire (ATF 127 I 38 consid. 2a p. 41; 124 IV 86 consid. 2a p. 88; 120 Ia 31 consid. 2a p. 38; 118 Ia 28 consid. 1a p. 30; 116 Ia 85 consid. 2b p. 88 et les arrêts cités). Le Tribunal fédéral n'intervient en conséquence pour violation de l'art. 9 Cst. que si le juge a abusé de ce pouvoir, en particulier lorsqu'il admet ou nie un fait pertinent en se mettant en contradiction évidente avec les pièces et éléments du dossier, lorsqu'il méconnaît des preuves pertinentes ou qu'il n'en tient arbitrairement pas compte, lorsque les constatations de fait sont manifestement fausses ou encore lorsque l'appréciation des preuves se révèle insoutenable ou qu'elle heurte de façon grossière le sentiment de la justice et de l'équité (ATF 129 I 49 consid. 4 p. 58, 173 consid. 3.1 p. 178; 128 I 81 consid. 2 p. 86; 124 IV 86 consid. 2a p. 88; 118 Ia 28 consid. 1b p. 30). En outre, pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 134 I 263 consid. 3.1 p. 266).
3.3 En l'espèce, les critiques du recourant sont essentiellement appellatoires. L'intégration sociale des enfants dans le village qu'ils habitent depuis 2001 et le caractère satisfaisant des résultats scolaires obtenus constituent des faits objectifs. Le recourant ne démontre pas en quoi ces éléments seraient contredits par des pièces du dossier ou auraient été établis de manière arbitraire. Sa critique vise en réalité les conclusions que les juges précédents ont tirées de ces faits, à savoir que l'environnement social actuel serait bénéfique pour les enfants, que quitter le village serait ressenti comme une injustice et que le bon niveau des résultats scolaires serait un signe d'équilibre des enfants. Or, de telles conclusions sont le résultat de déductions de la cour cantonale pour apprécier l'intérêt des enfants; les critiques du recourant relèvent ainsi de l'application des normes en matière de protection de l'enfant, sur lesquelles il sera revenu ultérieurement (cf. infra, consid. 4).
3.4 Le recourant fait également grief à la cour cantonale d'avoir mentionné un risque suicidaire chez les enfants. Certes, il est exact que l'existence d'un tel risque repose principalement sur une déclaration du pasteur de la paroisse. Il n'y avait cependant rien d'insoutenable à mentionner cette éventualité dans le présent contexte; les enfants ont, en effet, manifesté leur peur envers leur père et ont été décrits comme étant victimes d'une grande souffrance. De surcroît, le recourant ne démontre pas en quoi le fait d'écarter cet élément isolé du dossier conduirait à modifier la décision attaquée. Quant à la prévention du pasteur en faveur de la mère et des enfants, elle est évoquée de manière générale par le recourant, sans qu'il ne se réfère à des circonstances précises; en cela, sa critique est appellatoire et, partant, irrecevable.
3.5 S'agissant enfin de la prétendue violation de la maxime inquisitoire, le recourant en reste à de simples généralités, affirmant qu'il appartenait à la cour cantonale d'établir la pertinence des allégations du SPJ et du pasteur, ainsi que les conséquences pour les enfants du retrait de la garde à leur mère, sans se contenter du rapport du SPJ à ce sujet. Le recourant n'indique pas, de manière précise, quels faits auraient dû faire l'objet d'investigations spontanées de la part de l'autorité inférieure. Il n'explique pas non plus pour quels motifs déterminants la cour cantonale devait s'écarter des recommandations récentes du SPJ. Or, même lorsque le procès est soumis à la maxime inquisitoire, les règles de la bonne foi exigent que les parties collaborent à la recherche des faits et des moyens de preuves (ATF 128 III 411 consid. 3.2.1 p. 413). Insuffisamment motivé à cet égard, le recours est irrecevable sur ce point.
4. 4.1 Le recourant se plaint ensuite d'une violation des art. 9 et 11 Cst., 3, 6 et 20 CDE, ainsi que 307, 310 et 311 CC. En substance, il reproche à la cour cantonale d'avoir procédé à une mauvaise pesée des intérêts en présence, en privilégiant l'intérêt à court terme des enfants - tel qu'évoqué par le SPJ, mais qu'il conteste - au détriment de leur intérêt à long terme à entretenir des relations normales avec leurs deux parents; à le suivre, l'intérêt bien compris des enfants devait conduire la juridiction cantonale à retirer l'autorité parentale et le droit de garde à la mère.
4.2 Aux termes de l'art. 310 al. 1 CC, lorsqu'elle ne peut éviter autrement que le développement de l'enfant ne soit compromis, l'autorité tutélaire retire l'enfant aux père et mère ou aux tiers chez qui il se trouve et le place de façon appropriée. La première condition d'une telle mesure est l'existence d'une menace, d'un danger pour le développement de l'enfant. En outre, le danger doit être tel qu'il soit impossible de le prévenir par les mesures moins énergiques prévues aux art. 307 et 308 CC; sa cause doit résider dans le fait que le développement corporel, intellectuel ou moral de l'enfant n'est pas assez protégé ou encouragé dans le milieu de ses père et mère ou dans le milieu où ceux-ci l'ont placé (HEGNAUER/MEIER, Droit suisse de la filiation, 4e éd. 1998, n° 27.36; STETTLER, Droit suisse de la filiation, in Traité de droit privé suisse, vol. III/II/1 1987, p. 554). Comme toute mesure de protection de l'enfant, le retrait du droit de garde est aussi régi par les principes de subsidiarité, complémentarité et proportionnalité (HEGNAUER/MEIER, op. cit., n° 27.10 ss). Il en va de même pour le retrait de l'autorité parentale qui nécessite un motif supplémentaire, tel qu'une maladie psychique, une infirmité ou une faiblesse intellectuelle (Breitschmid, in Basler Kommentar, Zivilgesetzbuch I, 3e éd. 2006-2007, n° 7 ad art. 312 CC; HEGNAUER/MEIER, op. cit., n° 27.46).
Dans ce contexte, les dispositions constitutionnelles et conventionnelles invoquées par le recourant n'apportent aucune précision et n'ont, pour ce motif, pas de portée propre. Tout au plus, l'art. 3 CDE rappelle-t-il que l'intérêt supérieur de l'enfant doit être une considération primordiale pour toutes les décisions qui concernent les enfants; cela correspond également au but des art. 307 ss CC (BREITSCHMID, op. cit., n° 4 ad art. 307 CC; STETTLER, op. cit., p. 98 et 282).
Dès lors que l'application des art. 310 ss CC suppose une pesée d'intérêts de la part des autorités cantonales, le Tribunal fédéral fait preuve de retenue en revoyant leurs décisions (ATF 120 II 384 consid. 5b p. 387). Comme pour toute norme qui accorde au juge un large pouvoir d'appréciation, le Tribunal fédéral n'intervient que si la décision attaquée s'écarte des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, si elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle ou, à l'inverse, si elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération. Il sanctionne en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une inéquité choquante (ATF 133 III 201 consid. 5.4 p. 211).
4.3 En l'espèce, la cour cantonale a parfaitement identifié les problèmes liés au retrait de l'autorité parentale ou de la garde des enfants à la mère. D'un côté, les conditions pour retirer la garde apparaissent réunies; de l'autre, ce retrait est impraticable et même préjudiciable à l'intérêt des enfants, en particulier du fait de l'écoulement du temps et de l'intégration de ceux-ci dans leur milieu familial, scolaire et social. Les juges précédents ont ainsi procédé à une pesée des intérêts en présence, conformément à ce que prévoient les dispositions relatives aux mesures de protection de l'enfant.
Contrairement à ce que soutient le recourant, la cour cantonale a tenu compte de tous les éléments susceptibles d'entrer en considération pour apprécier l'intérêt des enfants. Elle n'a pas omis de signaler le constat de maltraitance psychologique posé en octobre 2005; elle n'a pas non plus passé sous silence le fait que, à teneur de cette expertise, le développement des enfants était gravement compromis par la mère. Par rapport à ces éléments; les juges précédents ont exposé la problématique consistant à sortir, après huit ans, les enfants de leur cadre de vie; à ce sujet ils ont mentionné que les enfants sont socialement intégrés dans le village, qu'ils ont des résultats scolaires satisfaisants et que la mère, hormis en ce qui concerne le recourant, paraît adéquate. Ils ont encore évoqué les conséquences qu'entraînerait actuellement un déplacement des enfants, se référant à l'injustice qu'ils ressentiraient à quitter leur village et reprenant les propos du pasteur de la paroisse en rapport avec un éventuel risque de suicide. Or, des circonstances telles que la stabilité du cadre socio-affectif ou les garanties fournies par le milieu éducatif constituent des critères reconnus en matière de détermination de l'intérêt des enfants (STETTLER, op. cit., p. 282 ss). De la sorte, la pesée des intérêts effectuée par la cour cantonale est conforme au droit fédéral.
4.4 Le recourant critique en définitive le poids accordé à chacun des éléments pris en compte par l'autorité inférieure. A le suivre, il aurait suffi de se fonder sur les résultats de l'expertise d'octobre 2005, lesquels devaient l'emporter sur toutes les autres circonstances survenues depuis lors. En prenant précisément en compte celles-ci, la cour cantonale a procédé à une difficile pesée des intérêts. Il s'agit cependant là, à l'évidence, d'une question d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue. Au vu du temps écoulé depuis l'expertise psychiatrique, de la situation actuelle des enfants dans leur village d'adoption et de l'avis exprimé par les intervenants au cours des années 2007 et 2008, la solution adoptée par la cour cantonale n'aboutit pas à un résultat choquant. A cela s'ajoute encore le fait que l'aînée des enfants atteindra prochainement l'âge de la majorité, ce qui rendrait vain tout retrait de garde à son égard. Or, séparer une fratrie composée depuis près de treize ans serait assurément préjudiciable à l'intérêt des enfants (cf. STETTLER, op. cit., p. 286). Dans ce contexte, on ne peut ignorer que la présence actuelle des enfants auprès de la mère repose sur une décision commune des parents. Cette décision a, en outre, été ratifiée en juillet 2006 par le juge du divorce, qui, à l'instar des parties, avait une connaissance complète de l'expertise dont se prévaut aujourd'hui le recourant. Or, le juge du divorce, nanti des mêmes informations que la cour cantonale, n'aurait pas manqué de refuser de ratifier une convention attribuant l'autorité parentale et la garde sur les enfants à la mère s'il y avait conclu que celle-ci n'était pas dans l'intérêt des enfants (cf. STETTLER, op. cit., p. 279).
5. Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF) et versera des dépens aux intimés (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3. Une indemnité de 3'000 fr., à payer à dame X._ à titre de dépens, est mise à la charge du recourant.
4. Une indemnité de 3'000 fr., à payer solidairement à A._, B._ et C._ à titre de dépens, est mise à la charge du recourant.
5. Le présent arrêt est communiqué aux parties et à la Chambre des tutelles du Tribunal cantonal du canton de Vaud.
Lausanne, le 15 avril 2009
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Aguet