Faits :
A.
Une enquête pénale est ouverte à Genève contre le Conseiller d'Etat Pierre Maudet pour acceptation d'avantages. Dans ce contexte, tenant compte de l'autorisation de poursuivre présentée par le Ministère public au Grand Conseil genevois, le Conseil d'Etat a communiqué le 5 puis le 13 septembre 2018 diverses mesures organisationnelles destinées notamment à éviter tout soupçon de conflit d'intérêts ou d'intrusion dans la procédure pénale, menée avec l'appui de l'Inspection générale des services (IGS) et de la police judiciaire: Pierre Maudet renonçait provisoirement à la présidence du Conseil d'Etat, le département présidentiel étant confié à Antonio Hodgers; la responsabilité hiérarchique de la police était confiée à Mauro Poggia (suppléant à ce poste), divers transferts de compétences étant par ailleurs opérés. Pierre Maudet conservait donc le département de la sécurité, sans la responsabilité de la police et les relations institutionnelles avec le pouvoir judiciaire.
Le 1er novembre 2018, les présidents de l'Union du Personnel du Corps de Police (UPCP) et du Syndicat de la police judiciaire (SPJ) ont adressé une lettre au Conseil d'Etat. Ils relevaient que le Comité de la caisse de prévoyance des fonctionnaires de police et des établissements pénitentiaires (ci-après, respectivement, le comité et la CP) avait établi un nouveau plan de prévoyance. Ils désiraient confirmation que le département de la sécurité n'était plus en charge de ce dossier. Le Conseil d'Etat répondit, le 19 décembre 2019, que le dossier de la CP était également passé en mains du Conseiller d'Etat suppléant. L'UPCP et le SPJ ont pris acte de cette réponse. Ils demandaient en outre la confirmation que Pierre Maudet ne prendrait pas part aux discussions et au vote dans le dossier de la CP et requéraient sa récusation. Ils se référaient aussi à une plainte auprès de l'autorité cantonale de surveillance des fondations et des institutions de prévoyance (ASFIP) le mettant en cause dans le cadre d'ingérences dans la gestion de la caisse.
Le 23 janvier 2019, dans le but de pérenniser sa nouvelle organisation, le Conseil d'Etat a pris notamment les mesures suivantes: un nouveau département de la sécurité, de l'emploi et de la santé était créé, dirigé par Mauro Poggia, comprenant notamment le corps de police et l'office cantonal de la détention; un nouveau département du développement économique était créé, dirigé par Pierre Maudet. Antonio Hodgers reprenait la présidence du Conseil d'Etat de manière permanente. Prenant à nouveau acte de cette communication, l'UPCP et le SPJ ont maintenu, le 29 janvier 2019, leur demande tendant à ce que Pierre Maudet n'intervienne ni ne vote dans le dossier de la CP.
Par décision du 17 avril 2019, le Conseil d'Etat a rappelé que les chefs de départements assumaient ensemble leurs responsabilités gouvernementales au sein du collège et qu'il ne saurait être question de priver l'un des conseillers d'Etat de ses droits d'expression ou de vote.
B.
Par arrêt du 29 octobre 2019, la Chambre administrative de la Cour de justice du canton de Genève a rejeté le recours formé par le SPJ et l'UPCP contre la décision du Conseil d'Etat. Celle-ci se fondait sur les dispositions sur la participation des chefs de départements aux décisions gouvernementales, ce qui constituait une motivation suffisante. Les mesures de réorganisation prises par le Conseil d'Etat tendaient à prévenir tout conflit d'intérêts en rapport avec la procédure pénale en cours, sans retenir l'existence d'une prévention du Conseiller d'Etat dans l'ensemble des dossiers dont il avait la charge. La CP était un établissement doté de la personnalité juridique; ni le département, ni son chef ne disposaient de compétences quant à l'octroi des prestations. Les plaintes déposées auprès de l'ASFIP (qui visaient les membres du comité de la CP et non le conseiller d'Etat) avaient été rejetées. La participation du magistrat aux dossiers soumis au collège faisait partie des prérogatives liées à sa charge et il n'y avait aucun indice de prévention dans le cadre des futurs arbitrages, négociations, voire déterminations concernant le dossier de la CP.
C.
Agissant par la voie du recours en matière de droit public, le Syndicat de la police judiciaire et l'Union du Personnel du Corps de Police demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que la récusation de Pierre Maudet est prononcée dans tout dossier visant, directement ou indirectement, en plénum du collège ou de toute autre manière, la caisse de prévoyance des fonctionnaires de police et des établissements pénitentiaires. Subsidiairement, les recourants concluent au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
La Chambre administrative a renoncé à déposer des observations. Le Conseil d'Etat conclut au rejet du recours dans la mesure où il est recevable. Dans leurs dernières écritures, les recourants persistent dans leurs conclusions.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final rendu en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public. Il est recevable comme recours en matière de droit public au sens de l'art. 82 let. a LTF. Les recourants ont qualité pour agir puisqu'ils ont pris part à la procédure devant la cour cantonale et disposent d'un intérêt à l'admission de leur demande de récusation (art. 89 al. 1 LTF). Il y a donc lieu d'entrer en matière.
2.
Dans un premier grief, invoquant notamment l'art. 112 LTF, les recourants reprochent à la cour cantonale d'avoir omis certains faits, en particulier l'ensemble des circonstances ayant conduit aux mesures de réorganisation du Conseil d'Etat: la procédure pénale contre le Conseiller d'Etat, la participation à l'enquête d'inspecteurs de police affiliés à la CP, le retrait du département de la sécurité afin de préserver la confiance entre le gouvernement et les autres acteurs de la vie politique et institutionnelle, les informations erronées données par le magistrat au Conseil d'Etat et les violations des règles en matière de procédure protocolaire et de non-acceptation de cadeaux; les motifs invoqués à l'appui des décisions de réorganisation du Conseil d'Etat (soit le souci d'éviter tout soupçon de conflits d'intérêts ou d'intrusion dans la procédure menée avec l'appui de l'IGS) auraient également été ignorés. En outre, la cour cantonale aurait faussement retenu que les discussions au sein du Conseil d'Etat avaient pour objet la mise en oeuvre de la nouvelle loi (limitée au rattrapage des rappels de cotisations), alors qu'il s'agissait de redéfinir l'évolution du plan de prévoyance de la CP. Les recourants estiment aussi que la cour cantonale ne pouvait considérer que les plaintes à l'autorité de surveillance avaient été rejetées alors que la première rappelait l'importance de l'indépendance du comité de la CP, et que le sort de la seconde n'était pas établi. Sur ce dernier point, la cour cantonale aurait aussi violé le principe de la maxime d'office en retenant les allégations de l'autorité intimée au motif qu'elles n'étaient pas contestées, sans avoir donné aux recourants l'occasion de se déterminer.
2.1. L'art. 112 al. 1 let. b LTF dispose que les décisions susceptibles d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit. Lesdites décisions doivent indiquer clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant (cf. <ref-ruling> consid. 1.2.1 p. 246). Sur les points de fait décisifs et litigieux, le Tribunal fédéral doit savoir ce que l'autorité précédente a en définitive retenu, écarté ou considéré comme non prouvé. Un état de fait insuffisant empêche l'application des règles de droit pertinentes à la cause et constitue donc une violation du droit (cf. <ref-ruling> consid. 8.2 p. 153). Par ailleurs, en matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 3.6.2 p. 287). Les faits en question doivent être pertinents, c'est-à-dire propres à influer sur l'issue du litige. Il appartient au recourant de le démontrer, le Tribunal fédéral n'entrant en matière sur un tel grief que s'il est invoqué et motivé de manière précise (art. 106 al. 2 LTF).
2.2. L'arrêt attaqué n'expose certes pas dans le détail les circonstances qui ont conduit le Conseil d'Etat à se réorganiser et notamment à retirer au magistrat en cause le département de la sécurité et à le dessaisir par conséquent du dossier relatif à la CP. Il se réfère toutefois aux communiqués de presse figurant au dossier dans lesquels ces motifs sont clairement expliqués, et ne sont pas remis en cause en tant que tels. Les recourants peuvent donc s'y référer dans leur recours, pour autant qu'il s'agisse d'éléments pertinents. La décision attaquée rappelle néanmoins (consid. 5) les motifs essentiels de la décision de réorganisation; elle en déduit que ces motifs, limités aux rapports hiérarchiques entre le Conseiller d'Etat et les enquêteurs chargés de son cas, ne pouvaient justifier une récusation dans le dossier spécifique de la CP. La décision attaquée expose ainsi de manière suffisante les raisons juridiques et les éléments factuels pertinents, de sorte que les exigences de l'art. 112 al. 1 let. b LTF sont satisfaites.
La distinction que les recourants entendent apporter entre l'application de la loi et les négociations relatives au plan de prévoyance n'apparaissent par ailleurs pas pertinentes: les recourants eux-mêmes n'expliquent pas clairement sur quels points devraient porter les discussions avec le Conseil d'Etat mais, comme on le verra, la participation à ces négociations, quel qu'en soit l'objet précis, n'est pas propre à justifier une récusation. Les recourants n'exposent pas non plus quel était l'objet des plaintes déposées auprès de l'autorité de surveillance contre le comité de la CP, et l'on ne voit pas le rapport entre ces plaintes et l'intervention du Conseiller d'Etat au sein du collège, fût-ce en relation avec le dossier de la CP. Les recourants admettent d'ailleurs que les plaintes en question n'étaient pas formellement dirigées contre le magistrat. Faute d'être plus explicite, la pertinence du moyen de preuve n'est pas établie et le grief doit être écarté, y compris en ce qui concerne l'administration de la preuve en question.
Les griefs relatifs à la motivation de la décision attaquée et à l'établissement des faits doivent ainsi être rejetés.
3.
Sur le fond, les recourants estiment que la participation du magistrat aux discussions sur la CP serait incompatible avec la garantie d'impartialité découlant de l'art. 29 Cst. Même si la CP est un organisme indépendant, le Conseil d'Etat serait appelé à influer sur son fonctionnement, a fortiori lorsqu'il s'agit de définir un nouveau plan de prévoyance. Par ce biais, le Conseiller d'Etat en cause interviendrait sur les droits de retraite des inspecteurs qui enquêtent à son sujet. Les mesures organisationnelles décidées par le gouvernement étaient destinées à préserver la confiance qui doit prévaloir entre le gouvernement et les autres secteurs de la vie politique et institutionnelle, ce qui justifierait une récusation dans ce contexte. Les recourants se réfèrent aussi aux plaintes déposées auprès de l'autorité de surveillance. Ils considèrent qu'il n'y aurait pas lieu de faire de différence entre l'action d'un conseiller d'Etat dans son département et sa participation au collège, un membre d'une autorité collégiale étant tout autant tenu de se récuser.
3.1. L'art. 29 al. 1 Cst. dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Selon la jurisprudence, ce droit permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des personnes impliquées ne sont pas décisives (cf. <ref-ruling> consid. 3.2.1 p. 124; arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.1).
De manière générale, les dispositions sur la récusation sont moins sévères pour les membres des autorités administratives que pour les autorités judiciaires. Contrairement à l'art. 30 al. 1 Cst., l'art. 29 al. 1 Cst. n'impose pas l'indépendance et l'impartialité comme maxime d'organisation. En règle générale, les prises de position qui s'inscrivent dans l'exercice normal des fonctions gouvernementales, administratives ou de gestion, ou dans les attributions normales de l'autorité partie à la procédure, ne permettent pas, dès lors que l'autorité s'exprime avec la réserve nécessaire, de conclure à l'apparence de la partialité et ne sauraient justifier une récusation, au risque sinon de vider de son sens la procédure administrative (<ref-ruling> consid. 5.2 p. 330; <ref-ruling> consid. 5.2 p. 452 et les références citées). La jurisprudence considère ainsi que les membres des autorités supérieures du pouvoir exécutif ne peuvent être récusés que s'ils ont un intérêt particulier à l'affaire, s'ils ont émis auparavant une opinion personnelle au sujet d'une partie ou s'ils ont commis des erreurs de procédure ou d'appréciation particulièrement lourdes ou répétées, qui doivent être considérées comme des violations graves de leurs devoirs et dénotent l'intention de nuire à la personne concernée (<ref-ruling> consid. 3e p. 124; arrêt 2C_643/2010 du 1er février 2011 consid. 5.5.2). Une récusation est également possible lorsque l'autorité s'est forgée une opinion inébranlable avant même d'avoir pris connaissance de tous les faits pertinents de la cause (cf. arrêt 2C_931/2015 du 12 octobre 2016 consid. 5.1 et les références citées). A cet égard, une appréciation spécifique est nécessaire dans chaque situation particulière (cf. <ref-ruling> consid. 3f p. 124s.).
3.2. En l'occurrence, le magistrat a été déchargé du département de la sécurité car il disposait dans ce cadre d'un pouvoir hiérarchique sur les inspecteurs de l'IGS et de la police judiciaire qui enquêtaient à son sujet sur les soupçons d'acceptation d'avantages. Il s'agissait ainsi d'éviter tout soupçon de conflit d'intérêts ou d'intrusion dans la procédure pénale. Si, comme le relèvent les recourants, le dossier de la CP se rapporte au nouveau plan de prévoyance qui devrait être discuté et négocié, le magistrat en question ne dispose plus d'aucun pouvoir hiérarchique sur les enquêteurs en intervenant au sein du collège sur ce dossier; l'on ne voit pas en quoi cette participation serait susceptible d'influer, même très indirectement, sur l'enquête dirigée contre lui. Il n'y a par conséquent aucune apparence de prévention susceptible de justifier une récusation.
4.
Sur le vu de ce qui précède, le recours est rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont mis à la charge des recourants qui succombent. Il n'est pas alloué de dépens (art. 68 al. 3 LTF)

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux parties, au Conseil d'Etat de la République et canton de Genève et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 25 mai 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Fonjallaz
Le Greffier : Kurz