Faits: A. Par décision du 20 janvier 2009, le Président du Tribunal d'arrondissement de La Côte, A._, statuant dans le cadre d'une procédure opposant X._ à son épouse dame X._, a rendu un prononcé de mesures protectrices de l'union conjugale confiant notamment la garde de l'enfant B._ à son père. Dans le cadre de l'instruction de l'appel interjeté par l'épouse contre le prononcé précité, le Tribunal d'arrondissement de La Côte a, lors de l'audience du 25 février 2010, chargé le Service de protection de la jeunesse d'établir un rapport évaluant notamment les capacités éducatives des deux parents. A l'occasion de l'audience d'appel subséquente du 22 avril 2010, à laquelle il était assisté de sa mandataire, X._ a demandé la récusation du président A._, notamment "au vu de ses allégations en début d'audience". La demande de récusation a été transmise le lendemain de l'audience précitée au Tribunal cantonal, comme objet de sa compétence. B. Par arrêt du 10 mai 2010, la Cour administrative du Tribunal cantonal du canton de Vaud a rejeté la demande de récusation dirigée contre le Président du Tribunal d'arrondissement de La Côte et mis les frais à la charge de X._. C. Par acte du 16 juin 2010, X._ exerce, sans le concours de son conseil, un recours en matière civile, assorti d'une requête d'effet suspensif, contre l'arrêt précité, concluant à l'annulation de ce dernier. Par courrier du 22 juillet 2010, le recourant a au surplus demandé à être mis au bénéfice de l'assistance judiciaire. Des déterminations sur le fond n'ont pas été demandées. D. Par ordonnance du 27 juillet 2010, la Présidente de la cour de céans a admis la requête d'effet suspensif du recourant.