Faits:
A. Par requête commune du 22 août 2006, les époux A._ ont introduit une procédure de divorce devant le Président de l'arrondissement judiciaire I de Courtelary-Moutier-La Neuveville. Les parties ont requis du juge qu'il statue sur les effets accessoires du divorce, à savoir le sort de leur enfant B._, la contribution d'entretien réclamée par l'épouse, le partage des avoirs LPP ainsi que la liquidation du régime matrimonial. Les questions de l'attribution de l'autorité parentale sur l'enfant, du droit de garde et de l'exercice du droit de visite sont particulièrement conflictuelles entre les parties.
Dame A._ a été mise au bénéfice de l'assistance judiciaire gratuite par décision du 14 décembre 2006, A._ par ordonnance du 28 février 2008. Dame A._ a retiré sa demande par écritures du 5 août 2008.
B. B.a Dans le cadre de cette procédure, A._ s'est opposé, à réitérées reprises, à ce que Me C._ reprenne la défense des intérêts de son épouse, ce dernier appartenant à une étude dont un autre avocat l'avait représenté antérieurement. Il a formé une plainte à ce sujet auprès de la Chambre des avocats du canton de Berne, qui a été rejetée.
B.b Par requête du 25 septembre 2009, A._ a requis la récusation de l'ensemble des présidents de l'Autorité judiciaire I de Courtelary-Moutier-La Neuveville pour le motif qu'il avait déposé une plainte pénale contre ces magistrats. Cette demande a été rejetée par la Cour suprême du canton de Berne par arrêt du 29 octobre 2009. Le Tribunal fédéral n'est pas entré en matière sur le recours déposé contre cet arrêt, faute de paiement de l'avance de frais. A._ a réitéré sa requête à l'encontre du seul Président X._, en charge du dossier de divorce, à la suite d'une ordonnance rendue par ce dernier et instaurant, à titre de mesures provisionnelles, un droit de visite surveillé sur l'enfant B._. Cette requête a également été rejetée par arrêt de la Cour suprême du 25 mars 2010. Le 21 juin 2010, le Tribunal fédéral a déclaré irrecevable le recours formé contre cet arrêt.
B.c A._ a changé à maintes reprises de mandataires. En date du 19 mars 2010, il a requis du Président de l'Autorité judiciaire I de Courtelary-Moutier-La Neuveville, qu'il retire le mandat d'office confié à Me D._, avocat à Lausanne. Cette demande a été rejetée, par ordonnance du 29 mars 2010, pour le motif que l'assistance d'un avocat lui était indispensable car il n'était pas à même de prendre la mesure exacte des objectifs et des moyens légitimes à disposition dans le cadre d'une procédure de divorce. Le président de l'autorité judiciaire a en outre considéré que Me D._ défendait les intérêts bien compris de son client. Ce refus a été confirmé par ordonnance du 28 mai 2010.
C. Le 31 mai 2010, A._ a à nouveau requis la récusation du Président X._, lequel a transmis le dossier à la Cour suprême du canton de Berne pour qu'elle statue. Celle-ci l'a rejetée par arrêt du 26 juillet 2010.
D. A._ exerce un recours en matière civile au Tribunal fédéral contre cette dernière décision, concluant à son annulation et à l'admission de la demande de récusation du Juge X._. Il se plaint de la violation des art. 6 et 13 CEDH, 29 et 30 Cst., ainsi que 14 du Pacte II de l'ONU. Il requiert en outre le bénéfice de l'assistance judiciaire.
Suite à la détermination de l'autorité cantonale sur laquelle le recourant a été invité à prendre position, la Présidente de la Cour de céans a admis la requête d'effet suspensif présentée par le recourant.
Aucune observation n'a été requise sur le fond.

Considérant en droit:
1. Le recours a été déposé en temps utile (art. 46 al. 1 let. b et 100 al. 1 LTF) par la partie qui a succombé devant l'autorité cantonale de dernière instance (art. 75 al. 1 et 76 al. 1 LTF). Il est en outre dirigé contre une décision incidente, prise et notifiée séparément du fond, portant sur la récusation du magistrat appelé à statuer dans la cause opposant le recourant à son épouse. Selon l'<ref-law>, une telle décision peut faire l'objet d'un recours immédiat devant le Tribunal fédéral. La voie de droit suit alors celle offerte contre la décision sur le fond. En l'espèce, la décision attaquée se rapporte à une procédure de divorce, dont l'objet principal porte sur l'attribution de l'autorité parentale et de la garde de l'enfant, à savoir sur une affaire civile non pécuniaire. La voie du recours en matière civile est donc ouverte (<ref-law>).
2. 2.1 Le Tribunal fédéral ne connaît de la violation des droits fondamentaux ou du droit cantonal que si ce grief a été soulevé et motivé par le recourant (<ref-law> ; <ref-ruling> consid. 3.2; <ref-ruling> consid. 1.4.2). Si le recourant se plaint de la violation de tels droits, il doit satisfaire au principe d'allégation (Rügeprinzip, principio dell'allegazione). Il doit ainsi indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.4.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 3).
2.2 Saisi d'un recours en matière civile, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte (<ref-law>), c'est-à-dire que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF <ref-ruling> consid. 1.2.2), doit satisfaire au principe d'allégation susmentionné (consid. 2.1 supra). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente, mais il doit démontrer, par une argumentation précise, que cette décision se fonde sur une constatation des faits ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2).
3. L'autorité cantonale a examiné chacun des indices qui, selon le recourant, étayeraient le soupçon de la partialité du Juge X._. Au terme de son analyse, elle a considéré que l'ensemble des reproches allégués ne permettaient pas de douter objectivement de l'impartialité du juge.
3.1 La garantie d'un tribunal indépendant et impartial instituée par l'art. 30 al. 1 Cst. - qui de ce point de vue a la même portée que l'art. 6 § 1 CEDH (<ref-ruling> consid. 1.1) - permet de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective est établie, car une disposition interne de la part du juge ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence d'une prévention et fassent redouter une activité partiale du magistrat; cependant, seules des circonstances objectivement constatées doivent être prises en compte, les impressions purement individuelles n'étant pas décisives (<ref-ruling> consid. 4.2, 238 consid. 2.1; <ref-ruling> consid. 5.2; <ref-ruling> consid. 1.1 et les références citéss). La récusation sera admise dès qu'il existe une apparence objective de prévention, peu importe que le juge concerné se sente lui-même apte à se prononcer en toute impartialité (<ref-ruling> précité). En d'autres termes, il faut que l'on puisse garantir que le procès demeure ouvert (ATF <ref-ruling> consid. 6.2).
3.2 D'après la jurisprudence, des décisions ou des actes de procédure viciés, voire arbitraires, ne fondent pas en soi une apparence objective de prévention. En effet, en raison de son activité, le juge est tenu de se prononcer sur des éléments contestés et délicats; même si elles se révèlent ensuite erronées, des mesures inhérentes à l'exercice normal de sa charge ne permettent pas encore de le suspecter de parti pris; en décider autrement, reviendrait à affirmer que tout jugement erroné, voire arbitraire, serait le fruit de sa partialité. Par conséquent, seules des erreurs particulièrement lourdes ou répétées, constitutives d'une violation grave des devoirs du magistrat, peuvent justifier la suspicion de partialité, pour autant que les circonstances justifient objectivement l'apparence de prévention (<ref-ruling> consid. 3e; <ref-ruling> consid. 5b; arrêt 5A_570/2007 du 28 février 2008 consid. 2.2).
3.3 Formellement, le motif de récusation doit être invoqué aussitôt que l'intéressé en a eu connaissance, sous peine d'être déchu du droit de s'en prévaloir ultérieurement (cf. parmi plusieurs: <ref-ruling> consid. 4.3; <ref-ruling> consid. 5a et les références citées).
4. Le recourant fait tout d'abord valoir que le refus de lui nommer un nouveau mandataire d'office à la suite de la grave mésentente intervenue avec Me D._ quant à la conduite du procès est de nature à susciter des doutes quant à l'impartialité du Juge X._.
4.1 La cour cantonale a considéré que ce refus ne pouvait aboutir à la récusation du juge dans la mesure où cette décision est intervenue après consultation de l'avocat, qui avait déclaré que le recourant ne l'instruisait pas suffisamment. Elle a, par ailleurs, estimé que celle-ci était justifiée et servait les principes de célérité et d'économie de procédure. Enfin, elle a relevé que ces griefs étaient en grande partie tardifs dès lors qu'ils avaient été pour la plupart formulés dans la requête de changement de mandataire qui a été rejetée par décision du 29 mars 2010.
4.2 Le recourant se plaint d'une violation manifeste de son droit d'être entendu et des garanties procédurales en tant qu'il n'a pas été invité à se déterminer sur les observations de son mandataire. Il reproche également à la cour cantonale de ne pas avoir examiné s'il pouvait être exigé de lui qu'il continue à se faire représenter par un mandataire qui l'a dépeint aux autorités judiciaires comme un être fantasque et menteur. Il invoque à ce sujet une violation des garanties procédurales et du droit à l'assistance judiciaire gratuite. Il avance enfin qu'il est arbitraire de déduire de la correspondance échangée avec son mandataire que celui-ci aurait été insuffisamment instruit.
4.3 Selon la jurisprudence, il n'existe pas un droit constitutionnel inconditionnel à choisir son défenseur d'office (arrêt 2D_144/2008 du 23 mars 2009 consid. 5.1.). De même, les requêtes de changement d'avocat d'office ne sont admises que pour des raisons objectives; des motifs purement subjectifs ne suffisent pas. On est en effet en droit d'attendre de celui qui est mis au bénéfice de l'assistance judiciaire gratuite qu'il fasse preuve de bonne volonté et collabore de manière constructive avec son défenseur d'office, lequel ne saurait être qu'un simple porte-parole de son mandant (<ref-ruling> consid. 4b/bb; arrêt 6S.103/2003 du 2 avril 2004 consid. 2.1).
4.4 En l'espèce, le recourant a été autorisé à changer de mandataires d'office à trois reprises. En outre, il a confié ses intérêts à plusieurs autres avocats sans que ceux-ci n'aient formellement requis à être désignés comme mandataire d'office. Dans ces circonstances et sur le vu de la jurisprudence en matière de changement d'avocat d'office, le refus signifié par le Juge X._ ne saurait en aucun cas consister en une erreur particulièrement lourde et constitutive d'une violation grave des devoirs du magistrat, pouvant justifier la suspicion de partialité (cf. consid. 3.2 supra). Le grief se révèle donc infondé. S'agissant des prétendues violations du droit d'être entendu et de l'interdiction de l'arbitraire, elles se réfèrent au refus du retrait du mandat d'office en tant que tel et sortent ainsi du cadre de la présente procédure. Ces critiques s'avèrent dès lors irrecevables.
Le recours doit donc être rejeté sur ce point dans la mesure de sa recevabilité.
5. Le recourant reproche également à l'autorité cantonale d'avoir établi les faits de manière manifestement inexacte lorsqu'elle a constaté qu'il était au bénéfice de l'assistance judiciaire depuis le mois de novembre 2007. Il ajoute que la motivation de la cour cantonale contestant sa qualité de partie dans la procédure d'assistance judiciaire requise par la partie adverse, viole son droit d'être entendu. Il invoque à cet égard que la manière différenciée avec laquelle le juge en cause avait accordé le bénéfice de l'assistance judiciaire constituait une grave irrégularité formelle permettant objectivement de douter de son impartialité.
En l'espèce, la cour cantonale a considéré que les griefs relatifs à l'octroi de l'assistance judiciaire à son épouse n'étaient pas pertinents dès lors qu'il ne disposait pas de la qualité de partie dans la procédure d'assistance judiciaire gratuite requise par celle-ci et que lui-même en avait obtenu le bénéfice depuis le mois de novembre 2007. À cet égard, force est de constater que le recourant n'allègue pas, en indiquant précisément des passages de ses écritures cantonales et les pièces y relatives, qu'il aurait formellement requis le bénéfice de l'assistance judiciaire avant que celui-ci ne lui ait été accordé. En outre, il ressort du dossier qu'il l'a obtenu par ordonnance du 28 février 2008 depuis le 19 novembre 2007, contrairement à ce qu'il prétend. Enfin, le recourant ne parvient pas à démontrer que l'octroi de l'assistance judiciaire à la partie adverse constituerait une violation grave des devoirs du magistrat susceptible de témoigner d'une éventuelle partialité du Juge X._ (consid. 3.2 supra). Ce grief doit dès lors être rejeté dans la mesure où il est recevable.
6. Le recourait invoque ensuite que le magistrat en cause s'est abstenu de toute mesure alors que le mandataire de son épouse appartient à une étude dont l'un des autres avocats l'a représenté en début de procédure de divorce. Il soutient en outre que ce juge aurait régulièrement tenu des propos désobligeants et dénigrants à son encontre. Il estime que cette attitude permet objectivement de le soupçonner de prévention. Il se plaint également de ce que la motivation de la cour cantonale sur ce point violerait son droit d'être entendu.
La juridiction cantonale a jugé tardifs ces griefs puisqu'ils avaient déjà été examinés dans le cadre des précédentes demandes de récusation formées par le recourant. Elle a par ailleurs rappelé que le juge est tenu d'exercer la police d'audience et de garantir le déroulement correct de celle-ci dans un temps raisonnable. Dans ses écritures, le recourant se contente d'invoquer une violation de droits constitutionnels sans nullement démontrer en quoi, elle consisterait précisément. En outre, la question de la représentation de la partie adverse par un avocat appartenant à une étude, dont un autre avocat avait précédemment été mandaté par le recourant, a fait l'objet d'une procédure distincte auprès de la chambre des avocats, qui n'a pas abouti. Enfin, s'agissant du fait que les griefs auraient été invoqués tardivement, le recourant se borne à opposer que le droit à un juge impartial serait imprescriptible. Or, selon la jurisprudence, le motif de récusation doit être invoqué aussitôt que l'intéressé en a eu connaissance, sous peine d'être déchu du droit de s'en prévaloir ultérieurement (cf. consid. 3.3 supra). En conséquence, ces critiques sont infondées dans la faible mesure de leur recevabilité.
7. Le recourant s'en prend encore à l'argumentation des juges cantonaux concernant l'arrêt du Tribunal fédéral invoqué dans sa demande de récusation et indiquant que les Juges X._ et Y._ s'abstiendraient de prendre part à la procédure d'expulsion alors pendante. Il fait valoir que la juridiction cantonale a violé les garanties de procédure ainsi que le principe de la bonne foi en écartant ce grief de récusation sans même l'examiner pour le motif que le Tribunal fédéral avait rejeté cette précédente requête.
En l'occurrence, l'instance inférieure a relevé que l'arrêt du Tribunal fédéral auquel faisait référence le recourant concernait une procédure d'expulsion aucunement liée à la procédure de divorce en cause, rappelant en outre que le rejet de la demande de récusation avait été confirmé. En outre, elle a indiqué que, contrairement à ce qui a été retenu par le Tribunal fédéral, elle n'avait jamais estimé que le Juge X._ devait désormais s'abstenir d'instruire la cause. Enfin, la cour suprême a relevé que le grief se révélait tardif puisqu'il avait déjà été traité lors du rejet de la précédente demande de récusation par arrêt du 25 mars 2010. On ne saurait ainsi suivre le recourant lorsqu'il prétend que le grief n'a pas été examiné en raison de l'arrêt du Tribunal fédéral dès lors qu'il ressort explicitement de ce qui précède que ce grief a été rejeté pour au moins deux motifs autres que celui dont se plaint le recourant, en particulier le fait que son invocation était tardive et que cet arrêt concernait la procédure d'expulsion et non la procédure de divorce. Le recourant s'abstient de toute démonstration s'agissant de ce dernier motif. Or, lorsque la décision attaquée s'appuie, comme en l'espèce, sur plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes, le recourant doit, sous peine d'irrecevabilité, démontrer que chacune d'entre elles est contraire au droit (<ref-ruling> consid. 6.3). Sa critique s'avère par conséquent irrecevable.
8. Enfin, le recourant soutient que les ordonnances relatives aux relations personnelles entre le recourant et sa fille sont arbitraires et incompréhensibles de sorte qu'elles sont de nature à susciter des doutes objectifs quant à l'impartialité du juge qui les a rendues. Il en va de même s'agissant des questions prétendument lacunaires posées à sa fille lors de son audition par le juge.
La juridiction cantonale a considéré ce grief - outre le fait qu'il était tardif - comme dénué de toute pertinence, le prononcé d'une décision défavorable à l'encontre d'une partie n'étant pas de nature à objectivement remettre en cause l'impartialité du magistrat qui l'a rendue. Elle a cependant relevé que ces griefs pourront, cas échéant, être soulevés dans le cadre d'un éventuel recours concernant le sort de l'enfant tel qu'il sera réglé par le jugement de divorce.
En l'espèce, le recourant se contente, par de vagues allégations, à invoquer que les ordonnances rendues seraient, selon lui, arbitraires et infondées. Or, quand bien même ces actes seraient viciés, ils ne pourraient aucunement constituer des erreurs particulièrement lourdes et répétées comme l'exige la jurisprudence pour justifier l'apparence de partialité (cf. consid. 3.2 supra). Ce grief doit donc également être écarté
9. Sur le vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Les conclusions de l'intéressé étant dépourvues de toutes chances de succès, la requête d'assistance judiciaire doit être rejetée (<ref-law>) et les frais judiciaires mis à sa charge (<ref-law>). Il n'est pas alloué de dépens à l'autorité cantonale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la 2ème Chambre civile de la Cour d'appel de la Cour suprême du canton de Berne.
Lausanne, le 11 janvier 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Hohl Richard