Faits :
A.
Par décision publiée le 13 mars 2020 dans la Feuille d'avis officielle de la République et canton de Genève (FAO), le Département du territoire (DT) a délivré à E._ SA une autorisation de construire portant sur la réalisation d'un habitat groupé et d'un garage souterrain ainsi que sur l'abattage d'arbres, au chemin U._, à Vandoeuvres (GE).
B.
B.a. Le 12 mai 2020, A._, B._ et C._ (ci-après également: les recourants) ont formé un recours au Tribunal administratif de première instance (ci-après: le TAPI) contre la décision du 13 mars 2020. Ils ont conclu principalement au constat de la nullité de l'autorisation de construire, subsidiairement à l'annulation de cette dernière.
La procédure a été attribuée à la Ière Chambre du TAPI, présidée par le juge Olivier Bindschedler Tornare (ci-après également: le Président).
B.b. Dans leur acte de recours, puis en cours de procédure, les recourants ont exprimé la volonté de voir la Commune de Vandoeuvres (ci-après: la Commune) revêtir la qualité de partie intimée au recours, sollicitant du Président qu'il rende une décision motivée à cet égard. Dans ce contexte, ils ont fait valoir qu'en contrepartie du préavis favorable que la Commune avait délivré, celle-ci aurait été gratifiée de divers droits par les requérants de l'autorisation de construire, de sorte qu'elle avait agi comme partie prenante à la décision querellée et non pas comme autorité libre et indépendante.
Après avoir informé les recourants, dans un premier temps, qu'il entendait se limiter à l'obligation de publier le recours dans la FAO, le Président a invité la Commune, le 6 juillet 2020, à indiquer si elle entendait participer à la procédure de recours.
Le 28 juillet 2020, la Commune a informé le Président qu'elle ne souhaitait pas intervenir dans la procédure et qu'elle s'en rapportait à justice.
C.
Par acte du 29 juillet 2020, complété le 6 août 2020, A._, B._ et C._ ont requis du TAPI la récusation du Président Olivier Bindschedler Tornare. Ils ont soutenu qu'en faisant obstruction à leur volonté de considérer la Commune comme une partie intimée, le juge précité avait agi sous le coup d'un parti pris, ce alors qu'il était par ailleurs requis de statuer, par une décision motivée, sur la qualité de partie intimée de la Commune. Invité à se déterminer, le Président Olivier Bindschedler Tornare a conclu au rejet de la requête.
Par décision du 4 septembre 2020, le TAPI a rejeté la requête de récusation.
Statuant par arrêt du 1er décembre 2020, la Chambre administrative de la Cour de justice cantonale a rejeté le recours formé par A._, B._ et C._ contre la décision du 4 septembre 2020.
D.
A._, B._ et C._ forment le 19 janvier 2021 un recours en matière de droit public au Tribunal fédéral contre l'arrêt du 1er décembre 2020. Ils concluent, avec suite de frais et dépens, principalement à sa réforme en ce sens que la récusation du Président Olivier Bindschedler Tornare est prononcée. Subsidiairement, ils concluent à l'annulation de l'arrêt et au renvoi de la cause à la Chambre administrative de la Cour de justice pour nouvelle décision, la procédure de recours étant suspendue jusqu'à droit jugé.
Invité à se déterminer, le Président Olivier Bindschedler Tornare conclut en substance au rejet du recours. E._ SA conclut, avec suite de frais et dépens, au rejet du recours. Le Département du territoire s'en rapporte à justice. Quant à la Chambre administrative, elle indique ne pas avoir d'observations à formuler.
A._, B._ et C._ persistent dans leurs conclusions.

Considérant en droit :
1.
Dirigé contre une décision rendue en matière de droit public (<ref-law>) par une autorité de dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public a été déposé en temps utile (<ref-law>), par les destinataires de la décision attaquée qui ont succombé devant l'autorité précédente et qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). La décision attaquée est une décision incidente, prise et notifiée séparément du fond, portant sur une demande de récusation d'un juge. Par conséquent, elle peut faire l'objet d'un recours immédiat devant le Tribunal de céans (<ref-law>). Il y a donc lieu d'entrer en matière sur le fond.
2.
Invoquant des violations des art. 6 par. 1 CEDH et 30 al. 1 Cst., les recourants soutiennent que la conduite de la procédure par le magistrat intimé dénote un parti pris de ce dernier à l'égard des intérêts de la Commune et partant de ceux des requérants de l'autorisation de construire.
2.1. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH permet, indépendamment du droit de procédure cantonal, de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité; elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 4.3; <ref-ruling> consid. 3.2; arrêt 1C_425/2017 du 24 octobre 2017 consid. 3.1).
L'art. 15A al. 1 let. f de la loi cantonale sur la procédure administrative du 12 septembre 1985 (LPA/GE; RSG E 5 10) a la portée d'une clause générale et prévoit que les juges doivent se récuser s'ils peuvent être prévenus de toute autre manière [que les motifs énumérés à l'art. 15A al. 1 let. a à e LPA/GE], notamment en raison d'un rapport d'amitié ou d'inimitié avec une partie ou son représentant.
Selon la jurisprudence, des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que le juge est prévenu ou justifient à tout le moins objectivement l'apparence de prévention. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a en particulier pas pour objet de permettre aux parties de remettre en cause les différentes décisions incidentes prises par le magistrat instructeur (ATF <ref-ruling> consid. 3.2; <ref-ruling> consid. 2.3 et les arrêts cités; cf. également parmi de nombreux autres: arrêts 1B_25/2021 du 15 avril 2021 consid. 2.1; 2C_633/2020 du 30 septembre 2020 consid. 4.4; 1C_425/2017 précité consid. 3.1).
2.2. Dans leur mémoire de recours, les recourants s'attachent essentiellement à démontrer en quoi, de leur point de vue, l'admission de la Commune en qualité de partie intimée dans la procédure de recours s'imposait dès lors que celle-ci serait personnellement intéressée à l'issue de la procédure. Or, comme l'a relevé la cour cantonale, l'existence d'une erreur d'appréciation commise à cet égard par le magistrat intimé n'a en l'état rien d'évident, alors que les recourants sont du reste susceptibles de faire valoir leurs griefs dans le cadre des voies de droit usuelles prévues par la législation en matière de procédure administrative.
Pour le surplus, comme l'a également jugé la cour cantonale, les recourants ne sauraient tirer argument du fait que le Président intimé ne s'était pas encore formellement prononcé sur la question litigieuse dans le cadre d'une décision sujette à recours. Dès lors que les recourants avaient formé leur requête de récusation le lendemain de la détermination de la Commune et que cette requête était précisément fondée sur la problématique en lien avec le statut procédural de cette même Commune, il n'est pas critiquable que le magistrat intimé choisisse finalement, alors que son impartialité était contestée, d'attendre l'issue de la procédure de récusation avant de rendre la décision en cause.
A tout le moins, même à supposer que l'attitude du magistrat intimé, quant à la qualité de partie que devait éventuellement revêtir la Commune, puisse laisser entendre que son opinion est déjà formée sur cette question précise, on ne saurait pour autant discerner, en l'absence d'erreurs graves ou répétées dans la conduite de la procédure, un soupçon de prévention de celui-là quant au fond du litige, justifiant sa récusation.
2.3. Les recourants ne tentent au demeurant pas de démontrer que le refus d'ordonner la récusation du magistrat intimé consacrerait une application arbitraire de l'art. 15A LPA/GE par la cour cantonale.
3.
Les considérations qui précèdent conduisent au rejet du recours, aux frais des recourants, qui succombent (art. 65 et 66 al. 1 LTF). Ils verseront en outre des dépens à l'intimée E._ SA, qui procède avec l'assistance d'un avocat (<ref-law>). Le magistrat intimé et le Département du territoire, qui agissent dans l'exercice de leurs attributions officielles, n'ont pour leur part pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Une indemnité de dépens, fixée à 1'500 fr., est allouée à l'intimée E._ SA, à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux parties, au Département du territoire de la République et canton de Genève et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 27 avril 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Tinguely