Faits :
A.
Le 7 mai 2018, la Municipalité de U._ a rejeté l'opposition formée le 11 janvier 2018 par A._ et consorts à la délivrance du permis de construire requis pour le projet de construction de deux immeubles d'habitation avec garage souterrain et aménagement de sept places de parc extérieures après démolition du bâtiment n o ECA 1, propriété de C._ S.A. promis-vendu à D._ S.A., E._ S.A., F._ S.A. et G._ S.A.
En date du 7 juin 2018, A._et consorts ont déposé un recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: CDAP).
Le 19 septembre 2018, le Juge cantonal instruisant cette cause, Pierre Journot, a adressé au conseil commun de A._ et consorts un courrier leur transmettant la réponse de la municipalité du 14 septembre 2018 et les informant du fait que " sauf réquisition présentée par l'une ou l'autre des parties d'ici au 9 octobre 2018 et tendant à compléter l'instruction, la Cour de droit administratif et public statuera[it] à huis clos et communiquera[it] son arrêt par écrit aux parties ".
B.
Le 26 septembre 2018, le conseil commun de A._ et consorts a présenté auprès de la Cour administrative du Tribunal cantonal vaudois une demande de récusation du magistrat précité, aux termes de laquelle il soutenait que, par ses décisions en cours de procédure dans le dossier susmentionné et dans le dossier AC.2017.- qu'il avait également instruit, Pierre Journot démontrait une partialité qui ne pouvait s'expliquer que par une inimitié personnelle envers lui.
Aux termes de ses déterminations du 18 octobre 2018, le juge instructeur s'y est opposé, contestant notamment l'existence de l'inimitié alléguée.
Statuant sans échange d'écritures par arrêt du 8 novembre 2018, la Cour administrative a rejeté la demande de récusation présentée par A._ et consorts, par l'intermédiaire de leur conseil Me B._, et mis les frais par 500 fr. à la charge de ce dernier personnellement. En substance, elle a considéré que les demandeurs ne faisaient valoir aucun motif sérieux de récusation.
C.
A._ et son conseil Me B._ forment un recours en matière de droit public au Tribunal fédéral par lequel ils requièrent, avec suite de frais et dépens, la réforme de l'arrêt précité en ce sens que la demande de récusation du Juge cantonal Pierre Journot est admise et que les frais de l'instance cantonale sont mis à la charge de l'Etat. La demande d'effet suspensif a été admise par ordonnance rendue le 22 janvier 2019 par le Président de la Ire Cour de droit public.
Invitée à se déterminer, la Cour administrative, par son président, s'en est remise à justice s'agissant de la demande d'effet suspensif et s'est référée, pour le reste, aux considérants de son arrêt, sans autres observations. Le Juge cantonal ne s'est quant à lui pas déterminé.

Considérant en droit :
1.
1.1. Conformément aux art. 82 et 92 al. 1 LTF, une décision prise en dernière instance cantonale relative à la récusation d'un magistrat dans une procédure administrative peut faire immédiatement l'objet d'un recours en matière de droit public, malgré son caractère incident. Le recourant A._, auteur de la demande de récusation débouté, a par ailleurs qualité pour agir en vertu de l'<ref-law>.
1.2. Quant à la décision sur les frais, elle peut également faire l'objet d'un recours en matière de droit public immédiat auprès du Tribunal fédéral, dans la mesure où elle est l'accessoire de la décision incidente précitée contre laquelle un recours est intenté (cf. <ref-ruling> consid. 2.2 et 2.3 p. 95 s.; <ref-ruling> consid. 1.1 p. 160; voir également les arrêts 1B_105/2016 du 3 juin 2016 consid. 1.1 et 1.2.1; 1B_575/2011 du 29 février 2012 consid. 1). La qualité pour recourir de Me B._ doit également être admise en vertu de l'<ref-law>, dès lors qu'il a pris part à la procédure de récusation devant la Cour administrative et dispose d'un intérêt digne de protection à la modification de l'arrêt sur le point qu'il conteste, savoir les frais mis à sa charge (cf. arrêt 1C_45/2014 du 13 novembre 2014 consid. 1.5.2).
1.3. Les autres conditions de recevabilité sont remplies, de sorte qu'il y a lieu d'entrer en matière.
2.
Le mémoire de recours s'ouvre sur une présentation personnelle des faits. Une telle démarche, dans la mesure où les faits exposés s'écartent des constatations de l'instance précédente ou les complètent, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (cf. <ref-ruling> consid. 5.1 p. 356).
3.
Le recourant A._, qui se réfère aux art. 30 Cst. et 9 let. e in fine de la loi [du canton de Vaud] du 28 octobre 2008 sur la procédure administrative (LPA-VD; RSV 173.36), conteste le rejet de sa demande de récusation du Juge cantonal. Il allègue que la Cour administrative aurait fait preuve d'arbitraire en ne prenant pas en compte certains éléments qui le feraient apparaître comme prévenu en raison d'une inimitié personnelle avec son mandataire.
3.1. L'art. 9 LPA-VD prévoit que toute personne appelée à rendre ou à préparer une décision ou un jugement doit se récuser, notamment si elle pourrait apparaître comme prévenue en raison d'une amitié étroite ou d'une inimitié personnelle avec une partie ou son mandataire (let. e). Par ailleurs, la garantie d'un juge indépendant et impartial telle qu'elle résulte des art. 30 al. 1 Cst. et 6 par. 1 CEDH permet de demander la récusation d'un magistrat dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité. Elle vise à éviter que des circonstances extérieures à la cause ne puissent influencer le jugement en faveur ou au détriment d'une partie. Elle n'impose pas la récusation uniquement lorsqu'une prévention effective est établie, car une disposition interne de la part du juge ne peut être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat; cependant, seuls les éléments objectivement constatés doivent être pris en considération, les impressions purement individuelles n'étant pas décisives (<ref-ruling> consid. 4.3 p. 162 et les références citées).
Selon la jurisprudence, il n'est pas admissible qu'un magistrat connaisse successivement de la même affaire en première instance puis en instance de recours, comme juge titulaire ou suppléant (<ref-ruling> consid. 3d p. 57 ss et les références citées). En revanche, la participation successive d'un juge à des procédures distinctes posant les mêmes questions n'est contraire ni à la Constitution ni à la Convention européenne des droits de l'homme (arrêt 5A_1047/2017 du 3 mai 2018 consid. 5.1.2; cf. également <ref-ruling> consid. 3d p. 57 ss). La récusation doit rester l'exception et ne peut être admise à la légère, dès lors qu'à défaut, il y aurait danger que les règles de compétence des tribunaux et ainsi, le droit d'être jugé par un tribunal ordinaire, institué par la loi, soient vidés de leur substance (arrêt 5A_1047/2017 du 3 mai 2018 consid. 5.1.3).
3.2. En l'espèce, le recourant n'apporte aucun élément factuel permettant de retenir un soupçon de partialité. Il se contente de soutenir qu'il existerait un " contentieux " entre le magistrat concerné et son avocat " au titre de diverses procédures concernant les Carrières de V._ " sans évoquer ni sa nature ni son importance. Le recourant n'allègue du reste pas que ces procédures auraient un lien avec la présente affaire ni qu'elles auraient un état de fait similaire, respectivement poseraient des questions juridiques ayant un rapport entre elles. Il affirme uniquement que deux arrêts lui donnant tort, rendus en 2005 et en 2012 sous l'égide du magistrat en cause, auraient ensuite été annulés par le Tribunal fédéral. Ce motif ne saurait toutefois constituer un motif de récusation (cf. <ref-ruling> consid. 3d p. 58; voir également l'arrêt 1B_440/2017 du 8 mars 2018 consid. 5). On ne voit en outre pas que le magistrat concerné pourrait nourrir une rancoeur ou une inimitié particulière à l'égard du conseil de l'intéressé du seul fait qu'il n'a pas été suivi par le Tribunal fédéral dans deux affaires qu'il a jugées. On peut en effet attendre d'un juge qu'il prenne le recul nécessaire pour assumer les tâches qui lui sont dévolues en conformité avec les devoirs de réserve et d'impartialité qui lui incombent lorsqu'il instruit d'autres procédures dans lesquelles un même conseil intervient (cf. <ref-ruling> consid. 3.2.3 p. 180; arrêt 1B_474/2018 du 22 novembre 2018 consid. 3). Il en va de même du fait qu'une précédente demande de récusation, rejetée par la Cour administrative dans un arrêt du 2 avril 2012, ait déjà été présentée par Me B._ à l'encontre du magistrat en cause, le recourant ne prétendant au demeurant pas avoir été partie dans cette affaire. Il s'agit au demeurant d'éléments qui étaient connus si ce n'est du recourant personnellement, du moins de son mandataire au commencement de la procédure et qui auraient dû être invoqués sans délai.
Quant au prétendu refus du magistrat de faire droit à ses réquisitions de preuves, en particulier de procéder à la pose de gabarits en vue d'une inspection locale alors qu'il n'était pas encore en possession du dossier communal, sa supposée lenteur dans le cadre d'une autre affaire qu'il instruit (AC.2017.-) ainsi que les montants des avances de frais requis qui excéderaient ceux habituellement sollicités, il suffit de relever que si l'intéressé entend contester les décisions du magistrat instructeur ou se plaindre d'un déni de justice, il doit agir par les voies de recours ordinaires, et non par le biais d'une demande de récusation. En tout état, quand bien même le magistrat concerné aurait commis des manquements à ces égards, ils ne suffiraient pas à rendre même vraisemblable qu'il aurait eu une idée prédéterminée de l'issue de la cause alors même qu'il n'était pas en possession de tous les éléments pertinents, respectivement ne sauraient être considérés comme suffisamment nombreux ou importants au point que sa capacité à instruire de manière impartiale dans le cadre de la procédure de recours puisse être remise en cause.
3.3. Partant, la Cour administrative pouvait, sans violer le droit fédéral, rejeter la demande de récusation présentée à l'encontre du Juge cantonal Pierre Journot.
4.
Quant à Me B._, il soutient que ce serait arbitrairement que la Cour administrative aurait mis personnellement à sa charge les frais de sa décision en se fondant sur son propre arrêt du 17 octobre 2018 et sur celui du Tribunal fédéral 2C_799/2018, cause où les manquements figurant dans le mémoire de recours étaient patents. Il fait valoir qu'au contraire de ces affaires, la demande de récusation - à l'appui de laquelle un onglet de plusieurs pièces et un bordereau ont été produits - contenait des conclusions recevables ainsi qu'une motivation argumentée de cinq pages, articulée et cohérente.
4.1. Une décision est arbitraire, donc contraire à l'art. 9 Cst., lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si sa décision apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision soient insoutenables; il faut encore que celle-ci soit arbitraire dans son résultat. Il ne suffit d'ailleurs pas non plus qu'une solution différente de celle retenue par l'autorité cantonale puisse être tenue pour également concevable ou apparaisse même préférable (<ref-ruling> consid. 7.3 p. 174 s.; <ref-ruling> consid. 4.3 p. 380).
4.2. En l'espèce, la cour cantonale a jugé que la demande de récusation était manifestement mal fondée et a mis les frais de l'arrêt entrepris par 500 fr. à la charge de Me B._ personnellement. Elle s'est référée à l'art. 4 al. 1 du tarif du 28 avril 2015 des frais judiciaires et des dépens en matière administrative (TFJDA; RSV 173.36.5.1) pour ce qui est du montant des frais, et, s'agissant de leur répartition, au considérant 6 de l'arrêt du Tribunal fédéral du 21 septembre 2018 (cause 2C_799/2018) ainsi qu'à une précédente décision qu'elle a rendue le 17 octobre 2018 (n o 44) se rapportant à ce même arrêt. Dans cet arrêt, le Tribunal fédéral, qui s'est fondé notamment sur l'<ref-law>, a jugé qu'il se justifiait, à titre exceptionnel, de déroger à la règle générale et de mettre les frais judiciaires non pas à la charge du recourant lui-même mais à celle de sa mandataire, en raison des manquements figurant dans le mémoire. On ne distingue pas pour quelle raison la Cour administrative se réfère à cet arrêt - qui concerne une affaire genevoise - dans la mesure où la LTF ne s'applique en principe qu'aux procédures introduites devant le Tribunal fédéral; elle ne motive aucunement sa décision à cet égard, respectivement ne mentionne aucune disposition légale cantonale qui prévoirait que les frais puissent être mis personnellement à la charge de l'avocat du demandeur ayant succombé plutôt qu'à la charge de ce dernier. Le Tribunal fédéral n'est donc pas en mesure de vérifier si la décision est arbitraire sur ce point ou viole le droit d'une autre manière. Cela étant, la décision attaquée est insuffisamment motivée au regard de l'<ref-law>, ce que le Tribunal fédéral peut constater d'office (cf. <ref-law>; <ref-ruling> consid. 2. p. 83 et les arrêts cités).
L'arrêt attaqué doit donc être annulé sur la question des frais et la cause renvoyée à l'autorité cantonale afin qu'elle complète, respectivement motive sa décision en fait et en droit (cf. <ref-law>). Elle devra en particulier mentionner, le cas échéant, la base légale sur laquelle elle se fonde, respectivement exposer les raisons qui justifieraient de mettre les frais de l'arrêt cantonal à la charge de Me B._ personnellement.
5.
Au vu de ce qui précède, le recours doit être partiellement admis dans la mesure où il est recevable sur la question des frais. Pour le surplus, il est confirmé.
Le recourant A._, qui succombe sur la question principale de la récusation, devra supporter les frais judiciaires y relatifs (<ref-law>). Me B._, qui obtient gain de cause sur le point - accessoire - des frais, ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à des dépens, à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF; cf. arrêts 6B_304/2018 du 5 octobre 2018 consid. 3; 6B_1251/2016 du 19 juillet 2017 consid. 4).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure de sa recevabilité, l'arrêt attaqué est annulé et la cause est renvoyée à la Cour administrative du Tribunal cantonal vaudois pour nouvelle décision sur la question des frais. Il est confirmé pour le reste.
2.
Une partie des frais judiciaires, arrêtée à 1'500 fr., est mise à la charge de A._.
3.
Le canton de Vaud versera à Me B._ une indemnité de 500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, à la Cour administrative du Tribunal cantonal du canton de Vaud et, pour information, à la Municipalité de U._.
Lausanne, le 25 mars 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel