Faits:
A. Par décision du 20 janvier 2009, le Président du Tribunal d'arrondissement de La Côte, A._, statuant dans le cadre d'une procédure opposant X._ à son épouse dame X._, a rendu un prononcé de mesures protectrices de l'union conjugale confiant notamment la garde de l'enfant B._ à son père.
Dans le cadre de l'instruction de l'appel interjeté par l'épouse contre le prononcé précité, le Tribunal d'arrondissement de La Côte a, lors de l'audience du 25 février 2010, chargé le Service de protection de la jeunesse d'établir un rapport évaluant notamment les capacités éducatives des deux parents. A l'occasion de l'audience d'appel subséquente du 22 avril 2010, à laquelle il était assisté de sa mandataire, X._ a demandé la récusation du président A._, notamment "au vu de ses allégations en début d'audience".
La demande de récusation a été transmise le lendemain de l'audience précitée au Tribunal cantonal, comme objet de sa compétence.
B. Par arrêt du 10 mai 2010, la Cour administrative du Tribunal cantonal du canton de Vaud a rejeté la demande de récusation dirigée contre le Président du Tribunal d'arrondissement de La Côte et mis les frais à la charge de X._.
C. Par acte du 16 juin 2010, X._ exerce, sans le concours de son conseil, un recours en matière civile, assorti d'une requête d'effet suspensif, contre l'arrêt précité, concluant à l'annulation de ce dernier. Par courrier du 22 juillet 2010, le recourant a au surplus demandé à être mis au bénéfice de l'assistance judiciaire.
Des déterminations sur le fond n'ont pas été demandées.
D. Par ordonnance du 27 juillet 2010, la Présidente de la cour de céans a admis la requête d'effet suspensif du recourant.
Considérant en droit:
1. 1.1 En tant qu'elle statue sur une demande de récusation, la décision attaquée, qui est une décision incidente, peut faire l'objet d'un recours immédiat au Tribunal fédéral (art. 92 al. 1 LTF). La voie de droit contre une décision incidente suit celle ouverte contre la décision sur le fond. En l'espèce, le juge dont la récusation est requise était notamment invité à statuer, dans le cadre d'une procédure de mesures protectrices de l'union conjugale, sur l'attribution du droit de garde d'un enfant; la décision à rendre est susceptible, s'agissant d'une affaire non pécuniaire, de recours en matière civile (art. 72 al. 1 LTF). La voie du recours en matière civile est donc également ouverte contre l'arrêt querellé. Interjeté au surplus en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 al. 1 LTF) et dirigé contre une décision rendue en dernière instance cantonale (art. 75 al. 1 LTF) par la partie qui a succombé devant l'autorité précédente (art. 76 al. 1 LTF), le recours est en principe recevable.
1.2 Dès lors que la décision attaquée s'inscrit - comme en l'espèce s'agissant de mesures protectrices de l'union conjugale - dans le cadre d'une procédure portant sur des mesures provisionnelles, seule peut être dénoncée la violation des droits constitutionnels (art. 98 LTF; ATF 133 III 393 consid. 5.2 p. 397). Le Tribunal fédéral ne connaît de la violation de ces droits que si un tel moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (ATF 134 I 83 consid. 3.2 p. 88 et les arrêts cités).
2. Le recourant soulève le seul grief de la violation du droit d'être entendu, "quand bien même les dispositions de procédure cantonale auraient été par hypothèse appliquées de manière non arbitraire". Il reproche à cet égard à l'instance précédente d'avoir statué sur la base des indications figurant au procès-verbal de l'audience, sans l'inviter au préalable à préciser les motifs de sa demande de récusation, faisant ainsi preuve d'un excès de formalisme.
2.1 La cour cantonale a rejeté le moyen découlant des propos tenus en début d'audience par le juge récusé au motif que les allégations litigieuses ne ressortaient pas du procès-verbal de l'audience du 22 avril 2010 et qu'elle ignorait dès lors ce qui était reproché au magistrat mis en cause, étant précisé qu'il aurait appartenu au recourant, conformément à l'art. 47 al. 1 du Code de procédure civile du canton de Vaud et s'agissant d'une requête formée à l'audience, de présenter tous ses moyens par dictée au procès-verbal, ce qu'il n'avait manifestement pas fait.
Le recourant soutient qu'il incombait à la cour cantonale de "connaître" les motifs de sa demande, en l'invitant à s'exprimer sur le contenu du procès-verbal et à préciser la nature des propos tenus. La partie demandant la récusation doit, selon lui, être en mesure d'expliquer les motifs pour lesquels elle estime que le magistrat concerné aurait ainsi fait preuve de prévention et de manque d'indépendance. En rejetant la demande au motif que les règles de procédure ne prévoient pas d'explications complémentaires, l'instance cantonale aurait fait preuve de formalisme excessif.
2.2 Le droit d'être entendu, tel qu'il est garanti à l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves, d'obtenir qu'il soit donné suite à ses offres de preuve pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 129 II 497 consid. 2.2 p. 504 s.; 127 I 54 consid. 2b p. 56; 124 I 48 consid. 3a p. 51 et les arrêts cités). Le contenu du droit d'être entendu est déterminé en premier lieu par les dispositions cantonales de procédure, dont le Tribunal fédéral ne contrôle l'application et l'interprétation que sous l'angle de l'arbitraire. Dans tous les cas, l'autorité cantonale doit cependant observer les garanties minimales déduites de l'art. 29 al. 2 Cst., dont le Tribunal fédéral examine librement le respect (ATF 127 III 193 consid. 3; cf. aussi ATF 125 I 257 consid. 3a).
Selon la jurisprudence, il y a formalisme excessif, constitutif d'un déni de justice formel prohibé par l'art. 29 Cst., lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi et complique de manière insoutenable la réalisation du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux. L'excès de formalisme peut résider soit dans la règle de comportement imposée au justiciable par le droit cantonal, soit dans la sanction qui lui est attachée (ATF 134 II 244 consid. 2.4.2 p. 248; 130 V 177 consid. 5.4.1 p. 183 s.). De manière générale, la sanction du non-respect d'un délai de procédure n'est pas constitutive de formalisme excessif, une stricte application des règles relatives aux délais étant justifiée par des motifs d'égalité de traitement ainsi que par un intérêt public lié à une bonne administration de la justice et à la sécurité du droit (cf. ATF 104 Ia 4 consid. 3 p. 5; confirmé notamment in arrêt 9C_923/2009 du 10 mai 2010, consid. 4.1.1).
2.3 En l'espèce, le recourant n'invoque pas la violation arbitraire de dispositions particulières de droit cantonal. Il ne s'en prend pas en soi à la règle imposant de motiver une demande de récusation, formulée en audience, par dictée au procès-verbal, mais estime que l'autorité saisie doit, en l'absence d'éléments figurant audit procès-verbal, s'enquérir d'elle-même des motifs de récusation. Il fait en substance valoir une obligation d'investigation à charge de l'autorité saisie, indépendamment de la forme choisie pour déposer la requête.
Ainsi, le recourant ne se plaint pas de ne pas avoir pu s'exprimer sur tous les éléments pertinents du dossier, mais il reproche la passivité de la Cour cantonale dans l'instruction de sa demande, en particulier le fait de ne pas avoir pris d'autres mesures à réception du procès-verbal de l'audience. Cette exigence, qui ne découle pas des règles cantonales de procédure, reviendrait finalement à permettre à un plaideur négligent de compléter ses moyens en cours de procédure, ce qui n'est pas admissible. S'agissant du formalisme de la procédure vaudoise, la jurisprudence a eu l'occasion de préciser, dans une affaire pénale, que le droit d'être entendu de l'accusé est respecté dans la mesure où celui-ci peut en tout temps réclamer par la voie incidente la verbalisation d'éléments essentiels[,] l'obligation d'agir par voie de requête incidente [...] ne constitu[ant] pas un formalisme excessif dans la mesure où il est conforme au principe de la bonne foi d'exiger de l'accusé qu'il fasse valoir ses moyens et objections immédiatement et dans les formes prescrites (arrêt 1P.290/2005 du 15 juillet 2005, consid. 2.2). Le système de verbalisation sur requête est en l'espèce d'autant moins critiquable que, contrairement à l'accusé dont la situation avait été examinée dans la jurisprudence précitée, le recourant était assisté de son avocate. Dans ces circonstances, il lui incombait d'exiger, à l'audience, la verbalisation des propos litigieux. Partant, le grief tiré de la violation du droit d'être entendu est infondé.
3. Le recours doit ainsi être rejeté. Les frais judiciaires sont mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Comme les conclusions prises dans l'acte de recours apparaissaient d'emblée vouées à l'échec, la requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Il n'est alloué de dépens ni à l'intimé (art. 68 al. 3 LTF), ni à dame X._, qui s'est prononcée sur la requête d'effet suspensif sans y avoir été invitée (art. 68 al. 4 LTF, en relation avec l'art. 66 al. 3 LTF) et qui s'est au surplus opposée à tort à l'octroi de celui-ci (cf. notamment arrêt 5A_21/2010 du 19 avril 2010, consid. 6).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour administrative du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 septembre 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Mairot