Faits : A. A.a. Les époux A._ s'opposent devant le Tribunal de première instance de Genève dans le cadre d'une procédure en divorce. Cette procédure est conduite depuis 2013 par le juge Stéphane Ascher. A.b. Par acte déposé le 12 décembre 2017, A.A._ a requis la récusation du juge Ascher. Il a soutenu que ce dernier n'était plus à même de suivre de manière objective la procédure en raison de son inimitié à l'égard de son conseil et de la prévention dont il faisait preuve envers lui. Cette prévention était manifestement la conséquence de la dénonciation qu'il avait adressée au Conseil supérieur de la magistrature le 20 juin 2017. Le juge susnommé avait ainsi " réglé ses comptes ", notamment au travers de plusieurs ordonnances infondées. Le juge Ascher a conclu au rejet de la requête en récusation. B.A._ en a fait de même. A.c. Par ordonnance du 26 avril 2018, la délégation du Tribunal civil de Genève a rejeté la requête de récusation. A.d. Par acte expédié le 14 mai 2018, A.A._ a formé un recours devant la Cour de justice du canton de Genève (ci-après: Cour de justice) contre cette ordonnance. Il a conclu à son annulation et à ce que la récusation du juge Ascher soit ordonnée. Tant le juge Ascher que B.A._ ont conclu au rejet du recours. A.e. Par arrêt du 15 octobre 2018, expédié le 2 novembre suivant, la Cour de justice a rejeté le recours. B. Par acte posté le 5 décembre 2018, A.A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 15 octobre 2018. Il conclut à son annulation et à sa réforme dans le sens que la récusation du juge Ascher est ordonnée. Subsidiairement, il sollicite le renvoi de la cause à la Cour de justice pour nouvelle décision au sens des considérants. Des déterminations n'ont pas été requises.