Faits: Faits: A. Par jugement du 30 juin 2006, le Tribunal correctionnel du Tribunal d'arrondissement de la Côte (ci-après: le Tribunal correctionnel) a condamné A._ pour actes d'ordre sexuel avec des enfants, contrainte sexuelle, viol et actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, à la peine de dix ans de réclusion et à un traitement psychiatrique spécialisé. Il a également alloué à D._ et à ses parents, respectivement 60'000 et 10'000 fr. à titre d'indemnité pour tort moral. Ce prononcé retient que, à de nombreuses reprises, de la fin de l'année 1997 ou du début de l'année 1998 et ce jusqu'au printemps 2002, A._ a contraint sa petite-fille, D._, née le 18 janvier 1994, à se déshabiller sous la menace de faire du mal à ses parents ou à elle-même, en la frappant avec un bâton lorsqu'elle refusait de se plier à ses exigences. A ces occasions, sur un matelas au sous-sol ou sur le lit d'une chambre, A._ lui a caressé la poitrine et le sexe par-dessous la culotte. Il a également introduit un doigt et un crayon dans le vagin de l'enfant. A plusieurs reprises, toujours sous la menace de lui faire du mal, A._ a également contraint D._ à s'allonger sur le côté, genoux pliés et ramenés contre la poitrine. Il s'allongeait alors nu face à elle en lui demandant de fermer les yeux et lui imposait des rapports sexuels complets au terme desquels il éjaculait en elle. Les douleurs ressenties par D._ lui occasionnaient régulièrement des pertes de selles. Dans les mêmes conditions de temps et de lieux, A._ s'est masturbé devant sa petite-fille et l'a forcée à le regarder faire. Ce jugement a été confirmé par la Cour de cassation pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour de cassation pénale) par arrêt du 28 août 2006. Ce jugement a été confirmé par la Cour de cassation pénale du Tribunal cantonal du canton de Vaud (ci-après: la Cour de cassation pénale) par arrêt du 28 août 2006. B. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt rendu par la Cour de cassation pénale le 28 août 2006. Invoquant les art. 32 al. 1 Cst. et 6 par. 2 CEDH, il se plaint de la violation du principe in dubio pro reo. La Cour de cassation pénale se réfère aux considérants de son arrêt. Le Ministère public ainsi que D._, C._ et B._ concluent au rejet du recours. Ces derniers requièrent en outre l'assistance judiciaire.