Faits: Faits: A. Le 17 mai 2005, A._ a demandé à la Direction de la Sécurité et de la Justice du canton de Fribourg, le paiement de deux indemnités pour des défenses d'office qu'il avait assumées, l'une de 28'833 fr. 35 et l'autre de 1'436 fr. 80. Le 12 juillet 2005, après avoir tenté de compenser les impôts arriérés avec ces indemnités à concurrence de 27'700 fr., l'Administration cantonale des finances a requis l'Office des poursuites de la Sarine (ci-après: l'Office des poursuites) de procéder à une saisie complémentaire du compte postal de A._. Par arrêt du 23 août 2005, la Chambre des poursuites et des faillites du Tribunal cantonal de l'Etat de Fribourg (ci-après: la Chambre LP) a rejeté la plainte de A._ en tant qu'elle concernait le complément de saisie. Par arrêt du 20 décembre 2005, le Tribunal fédéral a admis le recours de A._. Il a jugé que le simple fait qu'un revenu brut était payé tardivement n'autorisait pas à le considérer comme un revenu net. On ne saurait au demeurant reprocher à l'avocat de ne pas avoir obtenu d'avances de son client, sa rémunération ne pouvant être exigée que de l'Etat. Le Tribunal fédéral a donc annulé l'arrêt entrepris et enjoint à l'Office des poursuites de procéder au complément de saisie dans le sens des considérants. Par arrêt du 20 décembre 2005, le Tribunal fédéral a admis le recours de A._. Il a jugé que le simple fait qu'un revenu brut était payé tardivement n'autorisait pas à le considérer comme un revenu net. On ne saurait au demeurant reprocher à l'avocat de ne pas avoir obtenu d'avances de son client, sa rémunération ne pouvant être exigée que de l'Etat. Le Tribunal fédéral a donc annulé l'arrêt entrepris et enjoint à l'Office des poursuites de procéder au complément de saisie dans le sens des considérants. B. Le 1er juin 2006, A._ a déposé plainte contre l'Office des poursuites pour déni de justice et retard injustifié. Il a, à cette occasion, demandé qu'on lui communique la composition de la Chambre LP appelée à statuer, ce qui fut fait par courrier du 12 juin 2006. Le 14 juin 2006, A._ a formé une requête de récusation. Les juges cantonaux B._, C._ et D._ ainsi que le greffier E._ composaient la Chambre LP qui avait rendu l'arrêt du 23 août 2005, mis à néant par le Tribunal fédéral le 20 décembre 2005. Au surplus, B._ et E._ faisaient partie de la Cour d'appel pénal ayant statué sur son indemnité de défenseur d'office. Tous devaient donc être récusés. Par arrêt du 19 septembre 2006, un Tribunal de cinq membres, constitué conformément à l'art. 57 al. 1 let. g de la loi d'organisation judiciaire fribourgeoise (LOJ/FR), a rejeté la demande de récusation formulée par A._, non seulement parce qu'elle était mal fondée, mais également parce qu'elle était intervenue tardivement. Par arrêt du 19 septembre 2006, un Tribunal de cinq membres, constitué conformément à l'art. 57 al. 1 let. g de la loi d'organisation judiciaire fribourgeoise (LOJ/FR), a rejeté la demande de récusation formulée par A._, non seulement parce qu'elle était mal fondée, mais également parce qu'elle était intervenue tardivement. C. Agissant par la voie du recours de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt rendu le 19 septembre 2006 par le Tribunal de cinq membres. E._ et D._ renoncent à répondre au recours. C._ et B._ concluent à son rejet dans la mesure de sa recevabilité. Le Tribunal de cinq membres n'a pas formulé d'observations.