Faits : A. Une instruction pénale (référence MPC 2017 1612) est en cours en Valais contre l'avocat A._ pour menaces, tentative d'entrave à l'action pénale, instigation à faux témoignage, injure, instigation à dénonciation calomnieuse et violation du secret professionnel. Cette procédure est instruite par le Procureur Olivier Elsig, Premier procureur de l'Office régional du Valais central. Le 30 août 2019, le prévenu a requis la récusation du Procureur Elsig. Il lui reprochait d'avoir ouvert du courrier destiné à son frère détenu dont il était l'avocat, d'avoir transmis une partie de son contenu (un jugement non anonymisé concernant une ancienne cliente du prévenu) à un autre membre du Ministère public afin que l'intéressée soit informée de son droit de déposer plainte pour violation du secret professionnel. Il se plaignait en outre de propos tenus par le Procureur dans le cadre du procès de son frère évoquant "d'ignobles tentatives de déstabilisation et de dénigrement des victimes". Il reprochait enfin au magistrat de ne pas avoir donné suite à des offres de preuve, de ne pas lui avoir notifié l'avis de prochaine clôture annoncé en avril 2019 et de prononcer des jonctions et disjonctions de procédures dans le but de l'isoler. Cette demande de récusation a été écartée le 24 décembre 2019 par la Chambre pénale du Tribunal cantonal du Valais. Par arrêt du 18 mai 2020 (1B_65/2020), le Tribunal fédéral a rejeté le recours en matière pénale formé contre cette décision. L'ouverture du courrier entre le prévenu et son frère n'avait été interdite que le 16 janvier 2019, soit après l'ouverture des courriers par le Procureur; celui-ci s'était contenté de signaler au Procureur général la transmission d'un jugement non anonymisé par le prévenu à son frère, sans donner d'injonction sur la suite à donner. Les propos tenus lors d'un réquisitoire dans le cadre du procès de son frère n'étaient pas dirigés contre le requérant. Les autres décisions ou absences de décisions, y compris les jonctions et disjonctions de causes, pouvaient le cas échéant être attaquées par les voies de recours ordinaires. B. Le 12 mars 2020, A._ a formé une nouvelle demande de récusation contre le Procureur Elsig, tendant également à l'annulation et à la répétition de tous les actes de procédure auxquels ce magistrat avait participé. Il lui reprochait d'avoir ordonné, le 4 mars 2020, la jonction à la procédure MPC 2017 1612 d'une procédure relative à une plainte déposée pour injure, menaces et tentative de contrainte. L'auteur de cette plainte (ci-après la plaignante) était son ancienne secrétaire et avait ainsi eu connaissance des communications entre le prévenu et son avocat; les deux causes ne présentaient aucune connexité et les fors n'étaient pas les mêmes. Par ordonnance du 29 avril 2020, la Chambre pénale a rejeté la demande. Par ordonnance du même jour, le recours contre l'ordonnance de jonction avait été admis: en tant que secrétaire, la plaignante avait été amenée à traiter du courrier entre le prévenu et son avocat et pouvait connaître la stratégie de défense qui avait été adoptée, ainsi que certains faits qui ne figuraient pas au dossier. Le principe d'égalité des armes commandait de renoncer exceptionnellement à une jonction. Pour autant, la décision du Procureur ne constituait pas une erreur lourde ou une grave violation des devoirs du magistrat. C. Par acte du 2 juin 2020, A._ forme un recours en matière pénale par lequel il conclut, avec suite de frais et dépens, à la récusation du Procureur Olivier Elsig, à la désignation d'un autre procureur ainsi qu'à l'annulation et à la répétition des actes de procédure auxquels ce dernier a participé. Il demande préalablement la jonction de cette cause avec la procédure 1B_65/2020. Il n'a pas été demandé de réponse.