Faits: A. Par demande du 21 avril 2011, C.X._ a intenté, devant le Tribunal civil de l'arrondissement de Lausanne, une action en divorce à l'encontre de A.X._. Cette procédure, actuellement en cours, est instruite par la Présidente B._. Le 21 décembre 2012, A.X._ a requis la récusation de la magistrate précitée. B. Statuant le 21 janvier 2013, le Tribunal civil de l'arrondissement de Lausanne a rejeté la requête de récusation. Par arrêt du 14 mars 2013, la Cour administrative du Tribunal cantonal du canton de Vaud a rejeté le recours du requérant et confirmé la décision attaquée. C. Par acte du 17 avril 2013, A.X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 14 mars 2013. Il conclut, principalement, à sa réforme en ce sens que la récusation de la Présidente B._ est acceptée, la cause étant confiée à un autre magistrat du Tribunal civil de l'arrondissement de Lausanne. Subsidiairement, il demande l'annulation de l'arrêt attaqué, la cause étant renvoyée à l'autorité précédente pour nouveau jugement dans le sens des considérants. Des observations n'ont pas été requises.