Faits: A. A.a A._ et B._, nés le 8 mai 1996, sont les enfants de X._ et dame Y._, qui ont également une fille majeure, C._, née le 17 juin 1991. A.b Le 4 avril 2001, dame Y._ a déposé une plainte pénale contre X._ pour viols répétés à son égard et actes d'ordre sexuel sur leurs trois enfants. Les charges d'abus sexuels sur les enfants ont été abandonnées par le Ministère public grison au mois d'octobre 2002 et X._ a été libéré de l'accusation de viol sur son épouse par le Tribunal cantonal du canton des Grisons au mois de juillet 2003. A.c Dans le cadre de la procédure de divorce ouverte par dame Y._, une expertise judiciaire a été rendue le 14 octobre 2005 par le Service de psychiatrie pour Enfants et Adolescents du Secteur psychiatrique d'Yverdon-les-Bains, qui a diagnostiqué chez les enfants un syndrome d'aliénation parentale comme conséquence de la maltraitance psychologique exercée par leur mère. Le divorce des époux X._ a été prononcé le 21 juillet 2006 au Tessin; le juge saisi a ratifié la convention conclue par les parties qui attribuait à la mère l'autorité parentale et la garde des trois enfants et prévoyait le rétablissement des relations personnelles entre le père et les enfants selon les modalités devant être ordonnées par l'autorité tutélaire. B. B.a Le 30 août 2006, le Juge de paix du district de Moudon a ouvert une enquête en limitation de l'autorité parentale de la mère sur ses enfants. Par décision du 26 février 2008, il a, entre autres points, clos l'enquête, renoncé à instituer une mesure de protection au sens de l'art. 307 CC et refusé d'accorder au père un droit de visite sur les enfants. Par arrêt du 4 septembre 2008, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a partiellement admis le recours du père et annulé le chiffre du dispositif relatif au droit de visite du père; elle a estimé qu'il y avait lieu de ne pas exclure un droit de visite mais de mettre en place un dispositif pour son exercice incluant par exemple l'intervention d'un professionnel et un suivi thérapeutique, ce qui imposait que la cause fût renvoyée à l'autorité inférieure pour nouvelle décision. L'ordonnance de première instance a été confirmée pour le surplus. Le recours en matière civile formé contre cette décision par le père auprès du Tribunal fédéral et tendant au retrait de l'autorité parentale de la mère a été rejeté par arrêt du 15 avril 2009 (5A_858/2008). B.b En vue de la mise en ?uvre du droit de visite du père, le Juge de paix du district de la Broye-Vully a notamment donné mandat, le 10 novembre 2009, à la Croix-Rouge suisse, section vaudoise (ci-après: CRV), d'organiser les relations personnelles entre A._ et B._ et leur père. Le 12 mars 2010, le Service de protection de la jeunesse (ci-après: SPJ) a déclaré que la mise en place d'un suivi thérapeutique en faveur des enfants pour encadrer la reprise des relations personnelles avec leur père n'était pas nécessaire dans la mesure où ils étaient encore suivis par la doctoresse E._. Le 16 mars 2010, le conseil de X._ a informé le juge de paix que son client avait décidé de suspendre unilatéralement le droit de visite sur ses deux fils, ces derniers lui ayant clairement indiqué qu'ils ne voulaient pas avoir le moindre contact avec lui et sa famille; il a cependant précisé que son client était disposé à le reprendre si les enfants devaient changer d'avis et faire un signe positif pour la reprise de leurs relations personnelles. Il a également requis que le SPJ soit interpellé au sujet d'un suivi thérapeutique pour encadrer et favoriser une telle reprise. Le 19 mars 2010, la CRV a informé le juge de paix des difficultés rencontrées dans la mise en ?uvre de son mandat et de sa volonté de suspendre son accompagnement des visites. Le juge de paix a suspendu le droit de visite par ordonnance du 24 mars 2010 et a invité le père à préciser ses conclusions en relation avec d'éventuelles mesures thérapeutiques en faveur des enfants. Ce dernier a exposé que la thérapie sollicitée devait tendre à libérer ses fils du syndrome d'aliénation parentale afin de reconstruire la figure paternelle et, ainsi, envisager la reprise de contacts. Sur invitation du juge de paix, le SPJ a indiqué, le 7 juillet 2010, qu'il estimait qu'il serait intéressant que les enfants effectuent un travail thérapeutique auprès de l'institution "D._", précisant que la doctoresse E._ avait suggéré de refaire une expertise pédopsychiatrique de la situation. Le conseil des enfants a requis la mise en ?uvre d'une nouvelle expertise mais s'est opposé à la mise en ?uvre d'un suivi thérapeutique auprès de l'institution "D._". Le 6 décembre 2010, la Justice de Paix du district de la Broye-Vully a rejeté la requête tendant à la mise en ?uvre d'une nouvelle expertise pédopsychiatrique et a ordonné une thérapie familiale et individuelle de A._ et B._ auprès de l'institution "D._". B.c Statuant sur appel des enfants, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a confirmé cette décision par arrêt du 29 juillet 2011. C. Le 12 septembre 2011, A._ et B._ exercent un recours en matière civile au Tribunal fédéral contre cet arrêt. Ils concluent à ce qu'il soit réformé en ce sens que, préalablement à toute décision concernant une thérapie familiale et individuelle à pratiquer sur eux, une expertise psychiatrique soit ordonnée. Subsidiairement, ils requièrent le renvoi de la cause pour nouvelle instruction et décision dans le sens des considérants. Préalablement, ils demandent l'octroi de l'effet suspensif et de l'assistance judiciaire gratuite. Ils invoquent une violation des principes de la proportionnalité et de la subsidiarité régissant l'instauration des mesures de protection de l'enfant. Suite aux déterminations de l'intimé et de la Justice de Paix de la Broye-Vully, qui ont conclu au rejet de la requête d'effet suspensif, la Juge présidant de la Cour de céans a attribué l'effet suspensif au recours par ordonnance du 5 octobre 2011. Des observations n'ont pas été requises sur le fond.