Faits : A. Le 7 mai 2018, la Municipalité de U._ a rejeté l'opposition formée le 11 janvier 2018 par A._ et consorts à la délivrance du permis de construire requis pour le projet de construction de deux immeubles d'habitation avec garage souterrain et aménagement de sept places de parc extérieures après démolition du bâtiment n o ECA 1, propriété de C._ S.A. promis-vendu à D._ S.A., E._ S.A., F._ S.A. et G._ S.A. En date du 7 juin 2018, A._et consorts ont déposé un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: CDAP). Le 19 septembre 2018, le Juge cantonal instruisant cette cause, Pierre Journot, a adressé au conseil commun de A._ et consorts un courrier leur transmettant la réponse de la municipalité du 14 septembre 2018 et les informant du fait que " sauf réquisition présentée par l'une ou l'autre des parties d'ici au 9 octobre 2018 et tendant à compléter l'instruction, la Cour de droit administratif et public statuera[it] à huis clos et communiquera[it] son arrêt par écrit aux parties ". B. Le 26 septembre 2018, le conseil commun de A._ et consorts a présenté auprès de la Cour administrative du Tribunal cantonal vaudois une demande de récusation du magistrat précité, aux termes de laquelle il soutenait que, par ses décisions en cours de procédure dans le dossier susmentionné et dans le dossier AC.2017.- qu'il avait également instruit, Pierre Journot démontrait une partialité qui ne pouvait s'expliquer que par une inimitié personnelle envers lui. Aux termes de ses déterminations du 18 octobre 2018, le juge instructeur s'y est opposé, contestant notamment l'existence de l'inimitié alléguée. Statuant sans échange d'écritures par arrêt du 8 novembre 2018, la Cour administrative a rejeté la demande de récusation présentée par A._ et consorts, par l'intermédiaire de leur conseil Me B._, et mis les frais par 500 fr. à la charge de ce dernier personnellement. En substance, elle a considéré que les demandeurs ne faisaient valoir aucun motif sérieux de récusation. C. A._ et son conseil Me B._ forment un recours en matière de droit public au Tribunal fédéral par lequel ils requièrent, avec suite de frais et dépens, la réforme de l'arrêt précité en ce sens que la demande de récusation du Juge cantonal Pierre Journot est admise et que les frais de l'instance cantonale sont mis à la charge de l'Etat. La demande d'effet suspensif a été admise par ordonnance rendue le 22 janvier 2019 par le Président de la Ire Cour de droit public. Invitée à se déterminer, la Cour administrative, par son président, s'en est remise à justice s'agissant de la demande d'effet suspensif et s'est référée, pour le reste, aux considérants de son arrêt, sans autres observations. Le Juge cantonal ne s'est quant à lui pas déterminé.