Faits :
A.
Depuis le 30 mai 2016, une procédure oppose devant la Chambre administrative de la Cour de justice de la République et canton de Genève A._ et consorts, d'une part, au Conseil d'Etat de la République et canton de Genève, d'autre part, qui a rendu deux arrêtés relatifs au projet immobilier dit des Grands-Esserts, sur la commune genevoise de Veyrier. Le Juge Blaise Pagan a été désigné en qualité de juge délégué de cette procédure.
Par courrier du 17 janvier 2017, A._ et consorts ont sollicité divers actes d'instruction de la part du juge délégué. Par lettre du 31 janvier 2017, ils ont aussi requis la suspension de la procédure jusqu'à droit jugé dans une cause pendante devant la Chambre constitutionnelle de la Cour de justice qui revêtait à leur sens un caractère préjudiciel.
Par acte du 1 er mars 2017, le Juge Pagan a répondu à ces demandes de la manière suivante: "Pour des raisons qui seront indiquées dans l'arrêt à rendre, il ne sera pas procédé à des mesures d'instruction complémentaire, en particulier pas à celles requises par les recourants dans leur lettre du 17 janvier 2017, ni à la suspension de la présente procédure jusqu'à droit jugé dans la procédure portée devant la Chambre constitutionnelle telle que mentionnée dans leur lettre du 31 janvier 2017". Par courrier du 14 mars 2017, A._ et consorts ont requis que soit rendue une décision motivée et sujette à recours, relative à la non-suspension de la cause. Le juge délégué a transmis ce courrier aux autres parties pour déposer leurs déterminations d'ici au 31 mars 2017.
B.
Par acte du 20 mars 2017, A._ et consorts ont demandé la récusation du Juge Pagan, reprochant à ce dernier d'avoir donné l'apparence d'une prévention à leur égard, estimant qu'il avait décidé de manière univoque et unilatérale de la non-suspension de la procédure et s'étonnant du caractère informel de l'information qui leur avait été donnée. Le Juge Pagan a conclu au rejet de la demande de récusation et précisé que son courrier du 14 mars 2017 visait à garantir le respect du droit d'être entendu des parties et ne révélait aucune prévention en défaveur de A._ et consorts.
Par décision du 30 juin 2017, la Délégation des Juges de la Cour de justice en matière de récusation a rejeté la requête de A._ et consorts avec suite de frais judiciaires à charge des requérants.
C.
En temps utile, A._ et consorts forment un recours en matière de droit public auprès du Tribunal fédéral contre cette décision, concluant à son annulation, à la récusation du Juge Pagan et à l'annulation des actes d'instruction accomplis par ce magistrat, le tout sous suite de frais et dépens.
La Délégation des Juges de la Cour de justice en matière de récusation s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Juge Pagan se réfère aux observations formulées dans le cadre de la procédure cantonale et renvoie aux considérants de la décision attaquée. A._ et consorts ont répliqué.
Par ordonnance du 13 septembre 2017, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif, présentée par les recourants.

Considérant en droit :
1.
Dirigé contre une décision rendue en matière de droit public (<ref-law>) par une autorité de dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public a été déposé en temps utile (<ref-law>), par les destinataires de la décision attaquée qui ont succombé devant l'autorité précédente et qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). La décision attaquée est une décision incidente, prise et notifiée séparément du fond, portant sur une demande de récusation d'un juge. Par conséquent, elle peut faire l'objet d'un recours immédiat devant le Tribunal de céans (<ref-law>). Il y a donc lieu d'entrer en matière sur le fond.
2.
Les recourants s'en prennent d'abord à l'établissement des faits, qu'ils qualifient de manifestement inexact au sens de l'<ref-law>. Ils reprochent plus précisément à l'instance précédente d'avoir reformulé, dans ses considérants "En droit", le contenu de la décision du Juge du 1er mars 2017. Ils pointent en particulier la mention selon laquelle "de son point de vue", le Juge estimait que la cause était en état d'être jugée, alors que celui-ci avait annoncé de manière péremptoire dans cette décision que " (...) il ne sera pas procédé (...) à la suspension de la présente procédure".
Ce faisant, les recourants omettent d'indiquer que la décision entreprise retranscrit correctement et complètement les termes utilisés par le Juge dans son acte du 1 er mars 2017. Cette retranscription trouve logiquement sa place dans la partie "En fait" de la décision attaquée. On ne saurait dès lors relever de constatation manifestement inexacte des faits retenus par l'autorité précédente (cf. <ref-law>). Autre est la question de l'interprétation qu'a tirée l'instance précédente des termes utilisés, question qui relève du droit et qui sera donc examinée avec les griefs de fond soulevés par les recourants.
3.
Sur le fond, les recourants considèrent que le Juge intimé est prévenu au sens des art. 30 Cst. et 15A al. 1 let. f de la loi cantonale sur la procédure administrative du 12 septembre 1985 (LPA/GE; RSG E 5 10). A les suivre, le refus péremptoire de suspendre la procédure pouvait susciter l'impression que le Juge s'était déjà forgé une opinion sur les mérites de l'incident de suspension et que le sort de la demande de suspension était d'ores et déjà connu.
3.1. La garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH permet, indépendamment du droit de procédure cantonal, de demander la récusation d'un juge dont la situation ou le comportement est de nature à susciter des doutes quant à son impartialité; elle vise à éviter que des circonstances extérieures à l'affaire puissent influencer le jugement en faveur ou au détriment d'une partie. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat, mais seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles du plaideur ne sont pas décisives (<ref-ruling> consid. 2.2 p. 3).
L'art. 15A al. 1 let. f LPA/GE a la portée d'une clause générale et prévoit que les juges doivent se récuser s'ils peuvent être prévenus de toute autre manière [que les motifs énumérés à l'art. 15A al. 1 let. a à e LPA/GE], notamment en raison d'un rapport d'amitié ou d'inimitié avec une partie ou son représentant.
Selon la jurisprudence, des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que le juge est prévenu ou justifient à tout le moins objectivement l'apparence de prévention. Le magistrat appelé à statuer à nouveau après l'annulation d'une de ses décisions est en général à même de tenir compte de l'avis exprimé par l'instance supérieure et de s'adapter aux injonctions qui lui sont faites. Seules des circonstances exceptionnelles permettent dès lors de justifier une récusation dans de tels cas, lorsque, par son attitude et ses déclarations précédentes, le magistrat a clairement fait apparaître qu'il ne sera pas capable de revoir sa position et de reprendre la cause en faisant abstraction des opinions qu'il a précédemment émises (<ref-ruling> consid. 2.3 p. 146 et les arrêts cités).
3.2. L'instance précédente a considéré que le Juge intimé, saisi d'une requête d'actes complémentaires et d'une requête de suspension, avait annoncé que, de son point de vue, la cause était en état d'être jugée, réservant les motifs de son appréciation à la décision à rendre sur le fond. Les juges cantonaux ont ajouté que ce procédé était conforme à la pratique et n'était pas prohibé par la loi. Comme les recourants n'avaient pas voulu attendre la décision sur le fond pour en connaître la motivation, le juge incriminé avait ouvert une instruction sur la question de la suspension de la procédure et donné l'occasion aux parties de se déterminer. De l'avis des juges cantonaux, rien n'indiquait à ce stade que le sort de la demande de suspension aurait déjà été connu.
Les recourants insistent sur le fait que le Juge, dans sa décision du 1er mars 2017, a écrit sans réserve que "il ne sera pas procédé" à la suspension de la procédure. Ils en infèrent une volonté affirmée et péremptoire de refuser toute suspension de procédure, sans rendre de décision formelle sujette à recours, et en déduisent que le sort de la demande de suspension était d'ores et déjà connu. Ils font aussi état de la volonté du Juge de poursuivre l'instruction et le jugement de l'incident de suspension, malgré l'existence de la présente procédure. Tout cela dénoterait une prévention manifeste du juge délégué.
3.3. La présente cause n'a pas pour objet d'examiner si la conduite du procès par le juge visé par la requête de récusation est conforme aux règles applicables de procédure: c'est en effet exclusivement aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises (<ref-ruling> consid. 3a p. 138). En revanche, le juge de la récusation doit examiner si l'acte de procédure litigieux révèle une position du magistrat en défaveur d'une partie et sur laquelle il ne reviendra pas. Il y a alors prévention lorsque le magistrat donne l'apparence que l'issue du litige est d'ores et déjà scellée, sans possibilité de revoir sa position et de reprendre la cause en faisant abstraction de l'opinion précédemment exprimée.
La manière dont le juge visé par la récusation a décidé de mener la procédure sur incident de suspension n'est ici pas exempte de critique. Plutôt que de réserver son opinion sur l'incident et de fixer un délai aux parties pour s'exprimer sur ce point, il a adopté une attitude ferme et déterminée ne réservant, dans un premier temps, aucune place à une prise de position des parties. L'emploi du futur pour les verbes utilisés dans la décision incriminée ("qui seront indiqués", "il ne sera pas procédé") confirme si nécessaire une volonté résolue du magistrat. La poursuite de la procédure sur incident d'une manière aussi martiale aurait sans conteste conduit à conclure à l'apparence objective d'une prévention du magistrat. Tel n'a cependant pas été le cas : interpellé par les recourants, le magistrat a aussitôt ouvert une instruction sur incident de suspension, réservant alors à toutes les parties des délais pour s'exprimer; dans ce cadre, il n'a émis aucune opinion susceptible de laisser entendre que le sort de l'incident était d'ores et déjà scellé. Les recourants lui reprochent certes de continuer l'instruction de l'incident malgré les recours interjetés, ce qui dénoterait aussi un parti pris en leur défaveur. Cet argument est cependant sans portée, puisque, devant la Cour de céans, l'effet suspensif au recours a précisément été refusé, autorisant la poursuite des actes d'instruction par le juge délégué; on ne saurait non plus voir dans la poursuite de l'instruction d'un incident de procédure, par le biais de la fixation de délais prévus par la loi, une prédisposition du juge concerné, ce d'autant moins que l'attitude de ce dernier ne laisse autrement entrevoir aucune partialité.
Dans ces conditions, le magistrat a démontré qu'il se trouvait en état de revoir la position qu'il avait peut-être hâtivement et maladroitement exprimée le 1er mars 2017. On ne se trouve ainsi pas dans la situation dans laquelle le juge a répété des erreurs graves de procédure ou dans celle où il a clairement fait apparaître qu'il ne serait pas capable de revoir sa position et de poursuivre la cause en faisant abstraction des opinions précédemment émises. A défaut d'apparence de prévention du magistrat dans l'instruction de l'incident de suspension, l'instance précédente pouvait rejeter la requête de récusation sans violer le droit.
4.
Il s'ensuit que le recours est rejeté aux frais des recourants qui succombent (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants, au Juge Blaise Pagan, à la Délégation des Juges de la Cour de justice en matière de récusation, à la Caisse de prévoyance de l'Etat de Genève, ainsi qu'au Conseil d'Etat de la République et canton de Genève.
Lausanne, le 24 octobre 2017
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Tornay Schaller