Faits:
A. A.a A._ et B._, nés le 8 mai 1996, sont les enfants de X._ et dame Y._, qui ont également une fille majeure, C._, née le 17 juin 1991.
A.b Le 4 avril 2001, dame Y._ a déposé une plainte pénale contre X._ pour viols répétés à son égard et actes d'ordre sexuel sur leurs trois enfants. Les charges d'abus sexuels sur les enfants ont été abandonnées par le Ministère public grison au mois d'octobre 2002 et X._ a été libéré de l'accusation de viol sur son épouse par le Tribunal cantonal du canton des Grisons au mois de juillet 2003.
A.c Dans le cadre de la procédure de divorce ouverte par dame Y._, une expertise judiciaire a été rendue le 14 octobre 2005 par le Service de psychiatrie pour Enfants et Adolescents du Secteur psychiatrique d'Yverdon-les-Bains, qui a diagnostiqué chez les enfants un syndrome d'aliénation parentale comme conséquence de la maltraitance psychologique exercée par leur mère. Le divorce des époux X._ a été prononcé le 21 juillet 2006 au Tessin; le juge saisi a ratifié la convention conclue par les parties qui attribuait à la mère l'autorité parentale et la garde des trois enfants et prévoyait le rétablissement des relations personnelles entre le père et les enfants selon les modalités devant être ordonnées par l'autorité tutélaire.
B. B.a Le 30 août 2006, le Juge de paix du district de Moudon a ouvert une enquête en limitation de l'autorité parentale de la mère sur ses enfants. Par décision du 26 février 2008, il a, entre autres points, clos l'enquête, renoncé à instituer une mesure de protection au sens de l'art. 307 CC et refusé d'accorder au père un droit de visite sur les enfants.
Par arrêt du 4 septembre 2008, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a partiellement admis le recours du père et annulé le chiffre du dispositif relatif au droit de visite du père; elle a estimé qu'il y avait lieu de ne pas exclure un droit de visite mais de mettre en place un dispositif pour son exercice incluant par exemple l'intervention d'un professionnel et un suivi thérapeutique, ce qui imposait que la cause fût renvoyée à l'autorité inférieure pour nouvelle décision. L'ordonnance de première instance a été confirmée pour le surplus. Le recours en matière civile formé contre cette décision par le père auprès du Tribunal fédéral et tendant au retrait de l'autorité parentale de la mère a été rejeté par arrêt du 15 avril 2009 (5A_858/2008).
B.b En vue de la mise en ?uvre du droit de visite du père, le Juge de paix du district de la Broye-Vully a notamment donné mandat, le 10 novembre 2009, à la Croix-Rouge suisse, section vaudoise (ci-après: CRV), d'organiser les relations personnelles entre A._ et B._ et leur père. Le 12 mars 2010, le Service de protection de la jeunesse (ci-après: SPJ) a déclaré que la mise en place d'un suivi thérapeutique en faveur des enfants pour encadrer la reprise des relations personnelles avec leur père n'était pas nécessaire dans la mesure où ils étaient encore suivis par la doctoresse E._. Le 16 mars 2010, le conseil de X._ a informé le juge de paix que son client avait décidé de suspendre unilatéralement le droit de visite sur ses deux fils, ces derniers lui ayant clairement indiqué qu'ils ne voulaient pas avoir le moindre contact avec lui et sa famille; il a cependant précisé que son client était disposé à le reprendre si les enfants devaient changer d'avis et faire un signe positif pour la reprise de leurs relations personnelles. Il a également requis que le SPJ soit interpellé au sujet d'un suivi thérapeutique pour encadrer et favoriser une telle reprise. Le 19 mars 2010, la CRV a informé le juge de paix des difficultés rencontrées dans la mise en ?uvre de son mandat et de sa volonté de suspendre son accompagnement des visites. Le juge de paix a suspendu le droit de visite par ordonnance du 24 mars 2010 et a invité le père à préciser ses conclusions en relation avec d'éventuelles mesures thérapeutiques en faveur des enfants. Ce dernier a exposé que la thérapie sollicitée devait tendre à libérer ses fils du syndrome d'aliénation parentale afin de reconstruire la figure paternelle et, ainsi, envisager la reprise de contacts. Sur invitation du juge de paix, le SPJ a indiqué, le 7 juillet 2010, qu'il estimait qu'il serait intéressant que les enfants effectuent un travail thérapeutique auprès de l'institution "D._", précisant que la doctoresse E._ avait suggéré de refaire une expertise pédopsychiatrique de la situation. Le conseil des enfants a requis la mise en ?uvre d'une nouvelle expertise mais s'est opposé à la mise en ?uvre d'un suivi thérapeutique auprès de l'institution "D._".
Le 6 décembre 2010, la Justice de Paix du district de la Broye-Vully a rejeté la requête tendant à la mise en ?uvre d'une nouvelle expertise pédopsychiatrique et a ordonné une thérapie familiale et individuelle de A._ et B._ auprès de l'institution "D._".
B.c Statuant sur appel des enfants, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a confirmé cette décision par arrêt du 29 juillet 2011.
C. Le 12 septembre 2011, A._ et B._ exercent un recours en matière civile au Tribunal fédéral contre cet arrêt. Ils concluent à ce qu'il soit réformé en ce sens que, préalablement à toute décision concernant une thérapie familiale et individuelle à pratiquer sur eux, une expertise psychiatrique soit ordonnée. Subsidiairement, ils requièrent le renvoi de la cause pour nouvelle instruction et décision dans le sens des considérants. Préalablement, ils demandent l'octroi de l'effet suspensif et de l'assistance judiciaire gratuite. Ils invoquent une violation des principes de la proportionnalité et de la subsidiarité régissant l'instauration des mesures de protection de l'enfant.
Suite aux déterminations de l'intimé et de la Justice de Paix de la Broye-Vully, qui ont conclu au rejet de la requête d'effet suspensif, la Juge présidant de la Cour de céans a attribué l'effet suspensif au recours par ordonnance du 5 octobre 2011.
Des observations n'ont pas été requises sur le fond.
Considérant en droit:
1. Interjeté en temps utile (art. 100 al. 1 LTF), ainsi que dans les formes légales (art. 42 al. 1 et 2 LTF), par des parties qui ont été déboutées en dernière instance cantonale (art. 76 al. 1 LTF et art. 75 al. 1 LTF), contre une décision finale (art. 90 LTF), prise en application des normes en matière de protection de l'enfant (art. 72 al. 2 let. b ch. 7 LTF), le recours en matière civile est recevable au regard de ces dispositions.
En outre, les recourants - âgés de quinze ans -, dès lors qu'ils sont capables de discernement et exercent des droits strictement personnels, ont la capacité d'ester en justice et sont habilités à mandater un avocat pour les représenter (cf. arrêt 5A_357/2011 du 7 octobre 2011 consid. 6.1).
2. Saisi d'un recours en matière civile, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2). Il ne connaît cependant de la violation des droits fondamentaux que si ce grief a été soulevé et motivé par le recourant (art. 106 al. 2 LTF ; ATF 134 I 83 consid. 3.2; 133 II 249 consid. 1.4.2). Le recourant doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer, par une argumentation précise, en quoi consiste la violation (ATF 133 IV 286 consid. 1.4; 133 II 249 consid. 1.4.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF 133 II 396 consid. 3).
Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Les faits et moyens de preuve nouveaux sont prohibés, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
3. En substance, la cour cantonale a jugé que la mesure de protection ordonnant la thérapie n'était entachée d'aucun vice formel, en particulier qu'elle avait été prise dans le cadre d'une procédure d'enquête en limitation de l'autorité parentale, qu'elle ne consacrait pas de violations du droit d'être entendu et avait été rendue par une autorité tutélaire compétente. Sur le fond, elle a jugé qu'en raison de l'âge des enfants, il y avait lieu d'écarter la mise en ?uvre d'une expertise préalable qui ne pourrait être rendue que peu de temps avant l'accession des enfants à la majorité, ce qui ôterait toute pertinence à une reprise de l'exercice du droit de visite. Elle a ajouté qu'une nouvelle expertise ne se justifiait en outre pas dès lors que rien n'indiquait que la situation avait véritablement évolué depuis son arrêt du 4 septembre 2008. Elle a par ailleurs considéré que la détérioration de la situation confirmait l'importance de tout mettre en ?uvre pour rétablir l'image paternelle et que la thérapie ordonnée était susceptible d'atteindre ce but, notamment en permettant au père de rencontrer ses fils et de renouer une relation dans un cadre bien défini. Enfin, elle a estimé que l'institution choisie pour l'exercer paraissait la solution la plus adéquate en l'espèce.
4. Les recourants ne remettent en cause cet arrêt qu'en tant que la mesure ordonnée ne respecterait pas les principes de la proportionnalité et de la subsidiarité.
4.1 Le principe de la proportionnalité est la pierre angulaire du système de protection civile de l'enfant, la mesure ordonnée devant notamment être apte à atteindre le but de protection visé et nécessaire à cette fin (principe de la proportionnalité au sens étroit; MEIER, in: Commentaire romand, 2010, n° 33 s. ad Intro. art. 307 à 315b CC). En outre le prononcé de toute mesure protectrice (cf. art. 307 al. 1 CC) suppose que le danger menaçant le bien de l'enfant ne puisse être prévenu par les père et mère eux-mêmes (cf. art. 307 al. 1 CC), ni par des mesures plus limitées (principe de la subsidiarité; arrêt 5A_840/2010 du 31 mai 2011 consid. 3.1.1; arrêt 5C.284/2005 du 31 janvier 2006 consid. 3.1 publié in FamPra.ch 2006 p. 477; ATF 119 II 9 consid. 4a). L'autorité qui ordonne une mesure de protection de l'enfant dispose à cet égard d'un large pouvoir d'appréciation (art. 4 CC; arrêt 5A_656/2010 du 13 janvier 2011 consid. 3). Le choix de la mesure nécessite en effet une part importante d'anticipation et de pronostic quant à l'évolution des circonstances déterminantes (ATF 120 II 384 consid. 4d); il dépendra de toutes les données concrètes du cas, non seulement sous l'angle juridique, mais aussi en fonction des aspects sociaux, médicaux et éducatifs de la situation et de la constellation familiale (MEIER, op. cit., n° 34 ad Intro. art. 307 à 315b CC; BREITSCHMID, Basler Kommentar, 2010, n° 3 ad art. 307 CC). Le Tribunal fédéral s'impose dès lors une certaine retenue en la matière: iI n'intervient que si l'autorité cantonale a pris en considération des éléments qui ne jouent aucun rôle au sens de la loi ou a omis de tenir compte de facteurs essentiels (ATF 132 III 178 consid. 5.1; 130 III 571 consid. 4.3; 127 III 136 consid. 3a; arrêt 5A_840/2010 du 31 mai 2011 consid. 3.1.2).
4.2 Les recourants se plaignent tout d'abord de ce que la cour cantonale a considéré qu'une nouvelle expertise pédopsychiatrique n'était pas nécessaire puisque la situation n'avait pas changé depuis son arrêt du 4 septembre 2008, faisant valoir qu'ils n'ont en réalité plus été vus par un expert psychiatre depuis août 2005. Ils avancent ensuite que l'expertise d'octobre 2005 sur laquelle s'était fondée la cour cantonale n'est plus d'actualité puisqu'ils sont désormais des adolescents de quinze ans, qu'ils ont vécu depuis lors avec leur mère ainsi que, depuis deux ans, également avec le compagnon de cette dernière et qu'enfin, depuis l'expertise, le divorce de leurs parents a été prononcé par convention et la situation conjugale conflictuelle a cessé. Ils en déduisent que seule une nouvelle expertise serait en mesure de renseigner sur l'efficacité d'éventuelles mesures de protection à ordonner. Les recourants reprochent ensuite à la cour cantonale d'avoir considéré qu'une expertise retarderait trop la prise d'une mesure alors que, seul leur intérêt entrant en considération, il convient d'être certain de prendre la meilleure mesure de protection en leur faveur. Enfin, le choix d'une thérapie sans expertise préalable, en se fondant sur l'état d'esprit qu'ils manifestaient il y a six ans, constitue, selon eux, la mesure la plus lourde dès lors qu'elle ne tient pas compte de leur évolution et ne leur laisse aucune possibilité d'expression. Ils avancent encore que le succès de toute mesure dépend principalement de leur bonne volonté de sorte qu'il pourrait s'avérer dangereux de les soumettre à une thérapie contre leur gré.
4.3 En l'espèce, les enfants souffrent d'un syndrome d'aliénation parentale. Dans son arrêt du 4 septembre 2008, la cour cantonale a jugé que, dans la mesure où l'opposition et les croyances négatives que les enfants avaient envers leur père résultaient pour l'essentiel de la maltraitance psychologique opérée par leur mère, il y avait lieu de ne pas exclure un droit de visite mais de mettre en place un dispositif pour son exercice incluant par exemple l'intervention d'un professionnel et un suivi thérapeutique. Les autorités de protection de l'enfant ont ainsi dans un premier temps ordonné la reprise d'un droit de visite encadré par la CRV et jugé que le suivi psychiatrique des enfants par leur thérapeute, la doctoresse E._, était suffisant. Ce n'est qu'après l'échec de cette première mesure, les enfants ayant clairement indiqué ne pas vouloir rencontrer leur père ni sa famille, que la thérapie en cause a été ordonnée. On ne voit dès lors pas en quoi la cour cantonale se serait écartée du principe de la subsidiarité.
S'agissant du principe de la proportionnalité, l'argumentation des recourants ne remet pas en cause l'importance qu'il y a à réhabiliter l'image paternelle. Ils réclament en revanche que l'efficacité de la mesure ordonnée soit examinée dans le cadre d'une expertise avant sa mise en ?uvre. Cela étant, s'ils s'appuient sur l'avis de leur thérapeute pour réclamer une expertise préalable, ils ne se prévalent d'aucun élément permettant de douter de la nécessité de la mesure ordonnée ou de son aptitude à atteindre le but visé, à savoir leur permettre de renouer une relation avec leur père dans un cadre bien défini. En particulier, ils n'allèguent pas qu'une évolution du syndrome dont ils souffrent serait intervenue. Sur ce point, la cour cantonale a du reste considéré que rien n'indiquait que la situation aurait évolué depuis la dernière expertise psychiatrique; faisant référence à l'opposition qu'ils ont manifestée lors de la tentative de rétablir un droit de visite avec leur père, elle a au contraire constaté une atrophie de la situation. En tant que les recourants allèguent l'écoulement du temps, leur nouveau cadre de vie ainsi que la cessation du conflit conjugal, ils n'invoquent pas d'éléments susceptibles de démontrer qu'il y aurait eu une évolution significative de leur état d'esprit vis-à-vis de leur père. En outre, s'ils prétendent qu'il existe un danger qu'ils réagissent mal à la mesure ordonnée, cette assertion n'est corroborée par aucune offre de preuve ni confirmée par leur thérapeute. Il s'ensuit que l'appréciation de la cour cantonale, selon laquelle l'ordonnance d'une expertise préalable retarderait trop la mise en ?uvre de la thérapie, un droit de visite devant être rétabli avant l'accession des enfants à la majorité - ne prête pas le flanc à la critique. Le recours doit donc être rejeté.
5. Sur le vu de ce qui précède, le recours doit être rejeté. Les conclusions des recourants étant dépourvues de toutes chances de succès, leur requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF) et les frais judiciaires mis à leur charge (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens, des réponses n'ayant pas été requises (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants.
4. Le présent arrêt est communiqué aux parties, à la Justice de paix du district de la Broye-Vully et à la Chambre des tutelles du Tribunal cantonal du canton de Vaud.
Lausanne, le 5 décembre 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
Le Greffier: Richard