Faits: A. Par requête commune du 22 août 2006, les époux A._ ont introduit une procédure de divorce devant le Président de l'arrondissement judiciaire I de Courtelary-Moutier-La Neuveville. Les parties ont requis du juge qu'il statue sur les effets accessoires du divorce, à savoir le sort de leur enfant B._, la contribution d'entretien réclamée par l'épouse, le partage des avoirs LPP ainsi que la liquidation du régime matrimonial. Les questions de l'attribution de l'autorité parentale sur l'enfant, du droit de garde et de l'exercice du droit de visite sont particulièrement conflictuelles entre les parties. Dame A._ a été mise au bénéfice de l'assistance judiciaire gratuite par décision du 14 décembre 2006, A._ par ordonnance du 28 février 2008. Dame A._ a retiré sa demande par écritures du 5 août 2008. B. B.a Dans le cadre de cette procédure, A._ s'est opposé, à réitérées reprises, à ce que Me C._ reprenne la défense des intérêts de son épouse, ce dernier appartenant à une étude dont un autre avocat l'avait représenté antérieurement. Il a formé une plainte à ce sujet auprès de la Chambre des avocats du canton de Berne, qui a été rejetée. B.b Par requête du 25 septembre 2009, A._ a requis la récusation de l'ensemble des présidents de l'Autorité judiciaire I de Courtelary-Moutier-La Neuveville pour le motif qu'il avait déposé une plainte pénale contre ces magistrats. Cette demande a été rejetée par la Cour suprême du canton de Berne par arrêt du 29 octobre 2009. Le Tribunal fédéral n'est pas entré en matière sur le recours déposé contre cet arrêt, faute de paiement de l'avance de frais. A._ a réitéré sa requête à l'encontre du seul Président X._, en charge du dossier de divorce, à la suite d'une ordonnance rendue par ce dernier et instaurant, à titre de mesures provisionnelles, un droit de visite surveillé sur l'enfant B._. Cette requête a également été rejetée par arrêt de la Cour suprême du 25 mars 2010. Le 21 juin 2010, le Tribunal fédéral a déclaré irrecevable le recours formé contre cet arrêt. B.c A._ a changé à maintes reprises de mandataires. En date du 19 mars 2010, il a requis du Président de l'Autorité judiciaire I de Courtelary-Moutier-La Neuveville, qu'il retire le mandat d'office confié à Me D._, avocat à Lausanne. Cette demande a été rejetée, par ordonnance du 29 mars 2010, pour le motif que l'assistance d'un avocat lui était indispensable car il n'était pas à même de prendre la mesure exacte des objectifs et des moyens légitimes à disposition dans le cadre d'une procédure de divorce. Le président de l'autorité judiciaire a en outre considéré que Me D._ défendait les intérêts bien compris de son client. Ce refus a été confirmé par ordonnance du 28 mai 2010. C. Le 31 mai 2010, A._ a à nouveau requis la récusation du Président X._, lequel a transmis le dossier à la Cour suprême du canton de Berne pour qu'elle statue. Celle-ci l'a rejetée par arrêt du 26 juillet 2010. D. A._ exerce un recours en matière civile au Tribunal fédéral contre cette dernière décision, concluant à son annulation et à l'admission de la demande de récusation du Juge X._. Il se plaint de la violation des art. 6 et 13 CEDH, 29 et 30 Cst., ainsi que 14 du Pacte II de l'ONU. Il requiert en outre le bénéfice de l'assistance judiciaire. Suite à la détermination de l'autorité cantonale sur laquelle le recourant a été invité à prendre position, la Présidente de la Cour de céans a admis la requête d'effet suspensif présentée par le recourant. Aucune observation n'a été requise sur le fond.