Faits :
A.
Par arrêté du 27 avril 2016, le Conseil d'Etat du canton de Genève (ci-après: le Conseil d'Etat) a approuvé le plan localisé de quartier (PLQ n° 29983-542) situé aux Grands Esserts (secteur Maison de Vessy) sur le territoire de la commune de Veyrier et l'a déclaré "exécutoire nonobstant recours, en ce sens que les procédures administratives relatives aux demandes d'autorisation de construire peuvent suivre leur cours, l'exécution des travaux tendant à la réalisation des ouvrages et bâtiments étant toutefois interdite jusqu'à droit connu".
Par arrêté du même jour, le Conseil d'Etat a déclaré sans objet, a rejeté en tant que besoin la demande de récusation contre deux Conseillers d'Etat et a écarté les oppositions formées contre le projet de PLQ précité. A._ et consorts ont interjeté recours auprès de la Chambre administrative de la Cour de justice du canton de Genève contre les deux arrêtés du 27 avril 2016. Ils ont conclu à leur annulation et sollicité préalablement la restitution complète de l'effet suspensif du premier arrêté.
Par décision du 11 juillet 2016, le Juge délégué a ordonné l'appel en cause de la Caisse de prévoyance B._, propriétaire de parcelles sises dans le PLQ litigieux.
Par décision du 28 juillet 2016, le Président de la Chambre administrative de la Cour de justice a refusé la restitution de l'effet suspensif aux recours.
B.
Agissant par la voie du recours en matière de droit public, A._ et consorts demandent principalement au Tribunal fédéral d'annuler la décision du 28 juillet 2016 et d'ordonner la restitution complète de l'effet suspensif de l'arrêté du Conseil d'Etat, y compris s'agissant de l'avancement ou du dépôt d'autorisations de construire. Ils concluent subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Invités à se déterminer, le Président de la Chambre administrative et le Conseil d'Etat s'en rapportent à justice s'agissant de la recevabilité du recours et concluent à son rejet sur le fond. La Caisse de prévoyance B._ conclut au rejet du recours.
Par ordonnance du 31 août 2016, le Président de la Ire Cour de droit public a rejeté la requête de mesures provisionnelles tendant à ce que le Tribunal fédéral interdise à l'Etat de Genève toute opération visant à l'avancement ou au dépôt des procédures en autorisation de construire jusqu'à droit connu de façon définitive sur leur recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
1.1. Dirigé contre une décision prise en dernière instance cantonale dans le domaine du droit public de l'aménagement du territoire et des constructions, le recours est en principe recevable comme recours en matière de droit public conformément aux <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
1.2. En vertu de l'<ref-law>, le recours en matière de droit public auprès du Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure. Il l'est également contre certaines décisions préjudicielles et incidentes. Il en va ainsi de celles qui concernent la compétence et les demandes de récusation (<ref-law>). Quant aux autres décisions préjudicielles et incidentes notifiées séparément, elles peuvent faire l'objet d'un recours si elles sont susceptibles de causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
L'objectif poursuivi par cette disposition est de décharger le Tribunal fédéral en faisant en sorte que, dans la mesure du possible, celui-ci soit amené à trancher l'ensemble du litige dans une seule décision (<ref-ruling> consid. 1.3.2 p. 34). Les exceptions permettant de recourir contre une décision préjudicielle ou incidente doivent donc être appréciées restrictivement, ce d'autant que les parties n'en subissent en principe pas de préjudice, puisqu'elles peuvent encore attaquer la décision préjudicielle ou incidente avec la décision finale en vertu de l'<ref-law> (arrêt 1C_896/2013 du 23 juin 2014 consid. 4).
1.3. En l'occurrence, le recours est dirigé contre une décision qui rejette une requête en restitution de l'effet suspensif aux recours. Il s'agit donc d'une décision incidente, qui ne met pas un terme à la procédure. Il y a ainsi lieu d'examiner si l'une des deux conditions de l'<ref-law> est remplie. L'hypothèse de l'<ref-law> n'entre manifestement pas en considération, une admission du présent recours n'étant pas de nature à conduire immédiatement à une décision finale qui permettrait d'éviter une procédure probatoire longue et coûteuse.
La décision attaquée ne cause pas non plus aux recourants de préjudice irréparable (<ref-law>), par quoi on entend un dommage qui ne peut pas être réparé ultérieurement par une décision finale favorable au recourant (<ref-ruling> consid. 1 et les références). En effet, l'arrêté du 27 avril 2016 a précisé que l'exécution des travaux tendant à la réalisation des ouvrages et bâtiments était interdite jusqu'à droit connu. Le refus de restituer l'effet suspensif aux recours n'expose ainsi pas les recourants au risque de voir construire plusieurs immeubles. Seule la réalisation effective des constructions serait de nature à causer un préjudice irréparable aux recourants (arrêt 1C_568/2011 du 13 février 2012 consid. 1). Ceux-ci pourraient être amenés à recourir contre des éventuelles autorisations de construire accordées. Cependant, tant que les travaux de construction n'auront pas commencé, la situation pourra être réparée ultérieurement s'ils obtiennent gain de cause sur leur recours contre le plan localisé de quartier.
Pour le reste, les recourants se méprennent en faisant valoir une violation du principe de coordination (art. 25a LAT) et l'absence de réalisation d'une étude d'impact (<ref-law>) : ces éléments se rapportent à la validité du plan localisé de quartier et seront traités dans la procédure de fond: ils ne démontrent pas que l'absence d'effet suspensif aux recours déposés causerait aux recourants un préjudice irréparable.
Enfin, quoi qu'en disent les recourants, le fait de devoir interjeter "de multiples recours à grands frais à l'encontre des futures autorisations de construire qui seraient délivrées" ne suffit pas à causer un préjudice irréparable. En effet, selon la jurisprudence, l'allongement de la durée de la procédure et l'augmentation des coûts qui en résulte ne sont pas constitutifs d'un dommage irréparable au sens de l'<ref-law> (<ref-ruling> consid. 1.3.4 p. 36).
1.4. Aucune des deux conditions alternatives auxquelles une décision incidente peut faire l'objet d'un recours en vertu de l'<ref-law> n'est ainsi réunie. L'arrêt attaqué ne peut donc pas faire l'objet d'un recours immédiat au Tribunal fédéral.
2.
Il résulte de ce qui précède que le recours doit être déclaré irrecevable, aux frais des recourants qui succombent (art. 65 et 66 al. 1 LTF). La Caisse de prévoyance B._, qui agit comme un particulier et qui obtient gain de cause avec l'aide d'une avocate, a droit à des dépens à la charge des recourants (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'500 francs, sont mis à la charge des recourants.
3.
Une indemnité de 1'500 francs, à verser à l'intimée à titre de dépens, est mise à la charge des recourants.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Conseil d'Etat du canton de Genève et au Président de la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 5 octobre 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Tornay Schaller