Faits :
A.
Une instruction pénale (référence MPC 2017 1612) est en cours en Valais contre l'avocat A._ pour menaces, tentative d'entrave à l'action pénale, instigation à faux témoignage, injure, instigation à dénonciation calomnieuse et violation du secret professionnel. Cette procédure est instruite par le Procureur Olivier Elsig, Premier procureur de l'Office régional du Valais central.
Le 30 août 2019, le prévenu a requis la récusation du Procureur Elsig. Il lui reprochait d'avoir ouvert du courrier destiné à son frère détenu dont il était l'avocat, d'avoir transmis une partie de son contenu (un jugement non anonymisé concernant une ancienne cliente du prévenu) à un autre membre du Ministère public afin que l'intéressée soit informée de son droit de déposer plainte pour violation du secret professionnel. Il se plaignait en outre de propos tenus par le Procureur dans le cadre du procès de son frère évoquant "d'ignobles tentatives de déstabilisation et de dénigrement des victimes". Il reprochait enfin au magistrat de ne pas avoir donné suite à des offres de preuve, de ne pas lui avoir notifié l'avis de prochaine clôture annoncé en avril 2019 et de prononcer des jonctions et disjonctions de procédures dans le but de l'isoler.
Cette demande de récusation a été écartée le 24 décembre 2019 par la Chambre pénale du Tribunal cantonal du Valais. Par arrêt du 18 mai 2020 (1B_65/2020), le Tribunal fédéral a rejeté le recours en matière pénale formé contre cette décision. L'ouverture du courrier entre le prévenu et son frère n'avait été interdite que le 16 janvier 2019, soit après l'ouverture des courriers par le Procureur; celui-ci s'était contenté de signaler au Procureur général la transmission d'un jugement non anonymisé par le prévenu à son frère, sans donner d'injonction sur la suite à donner. Les propos tenus lors d'un réquisitoire dans le cadre du procès de son frère n'étaient pas dirigés contre le requérant. Les autres décisions ou absences de décisions, y compris les jonctions et disjonctions de causes, pouvaient le cas échéant être attaquées par les voies de recours ordinaires.
B.
Le 12 mars 2020, A._ a formé une nouvelle demande de récusation contre le Procureur Elsig, tendant également à l'annulation et à la répétition de tous les actes de procédure auxquels ce magistrat avait participé. Il lui reprochait d'avoir ordonné, le 4 mars 2020, la jonction à la procédure MPC 2017 1612 d'une procédure relative à une plainte déposée pour injure, menaces et tentative de contrainte. L'auteur de cette plainte (ci-après la plaignante) était son ancienne secrétaire et avait ainsi eu connaissance des communications entre le prévenu et son avocat; les deux causes ne présentaient aucune connexité et les fors n'étaient pas les mêmes.
Par ordonnance du 29 avril 2020, la Chambre pénale a rejeté la demande. Par ordonnance du même jour, le recours contre l'ordonnance de jonction avait été admis: en tant que secrétaire, la plaignante avait été amenée à traiter du courrier entre le prévenu et son avocat et pouvait connaître la stratégie de défense qui avait été adoptée, ainsi que certains faits qui ne figuraient pas au dossier. Le principe d'égalité des armes commandait de renoncer exceptionnellement à une jonction. Pour autant, la décision du Procureur ne constituait pas une erreur lourde ou une grave violation des devoirs du magistrat.
C.
Par acte du 2 juin 2020, A._ forme un recours en matière pénale par lequel il conclut, avec suite de frais et dépens, à la récusation du Procureur Olivier Elsig, à la désignation d'un autre procureur ainsi qu'à l'annulation et à la répétition des actes de procédure auxquels ce dernier a participé. Il demande préalablement la jonction de cette cause avec la procédure 1B_65/2020.
Il n'a pas été demandé de réponse.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision de dernière instance cantonale relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant a qualité pour recourir (<ref-law>) et le recours a été interjeté en temps utile (<ref-law>). Il y a lieu d'entrer en matière.
Le recourant requiert préalablement la jonction de la cause avec la procédure 1B_65/2020. Cette demande est toutefois sans objet dès lors que le Tribunal fédéral a déjà statué dans la précédente procédure, par arrêt du 18 mai 2020. Cela n'empêche d'ailleurs pas de procéder, comme le demande le recourant, à une appréciation d'ensemble des divers reproches adressés au magistrat concerné.
2.
Le recourant reproche à l'instance précédente de ne pas avoir suffisamment motivé sa décision, en omettant de statuer sur les griefs tenant à l'absence de connexité entre les procédures jointes par le Procureur, ainsi qu'à l'existence de fors différents.
2.1. Le droit d'être entendu implique pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 3.4.3 p. 46; <ref-ruling> consid. 2.1 p. 145).
2.2. La cour cantonale a retenu que l'ordonnance de jonction du Ministère public constituait une décision erronée. Elle s'est fondée sur les motifs de sa décision rendue le même jour à ce sujet, qui considère que la plaignante pouvait, dans le cadre de ses activités de secrétaire du recourant durant quinze mois, avoir été amenée à prendre connaissance du courrier échangé avec son défenseur et connaître ainsi la stratégie de défense qui avait été adoptée, ce qui pouvait se révéler contraire au principe d'égalité des armes. Il s'agit du motif le plus évident pour annuler ladite décision. Les autres motifs invoqués (défaut de connexité, fors différents) apparaissaient accessoires et ne sauraient constituer des indices supplémentaires de partialité du magistrat. Quoiqu'il en soit, la décision attaquée satisfait à l'obligation de motiver puisqu'elle considère que la décision du magistrat ne constitue pas une erreur suffisamment lourde pour justifier une récusation. Le recourant connaît ainsi les motifs de la décision et se trouve à même de l'attaquer en toute connaissance de cause, ce qui satisfait à l'obligation de motiver. Le grief formel doit être rejeté.
3.
Le recourant persiste à considérer que la décision de jonction du 4 mars 2020 relèverait d'une stratégie de mise en accusation exclusivement à charge, au mépris des droits de la défense puisque la plaignante pouvait non seulement connaître les moyens de défense du recourant, mais aussi les communiquer aux autres parties. En outre, il n'existait aucune connexité, ni factuelle ni géographique entre les causes. A tout le moins, cela constituerait une erreur grave et il ne s'agirait pas de la première puisque dans une cause précédente (1B_478/2018 du 14 novembre 2018), le Tribunal fédéral avait sanctionné un contrôle de la correspondance opéré par le Procureur sans autorisation du Tribunal des mesures de contrainte. L'ensemble des courriers privés et professionnels du recourant seraient d'ailleurs conservés par le Ministère public. Le recourant se prévaut également des actes qui ont motivé sa précédente demande de récusation.
3.1. Les principes applicables à la récusation d'un membre du ministère public ont été rappelés dans l'arrêt 1B_65/2020 du 18 mai 2020 (consid. 4.1). Il y a lieu de s'y référer.
3.2. L'ordonnance de jonction apparaît certes comme une décision erronée du ministère public. Il s'agit toutefois typiquement d'une erreur qui a pu être constatée et réparée par l'instance de recours ordinaire, sans préjudice pour le recourant. Cette erreur tient à la personne même de la plaignante, qui a été secrétaire du recourant durant une période de quinze mois et avait pu ainsi prendre connaissance de la stratégie de défense convenue avec son défenseur. Il s'agit d'un problème sur lequel l'autorité de poursuite n'a aucune prise et qui se pose d'ailleurs dans les mêmes termes en l'absence de toute jonction de causes. L'annulation de l'ordonnance de jonction permet certes de limiter le risque de transmission de renseignements entre les parties, mais le procureur pouvait sans doute relativiser ce risque en tenant compte du fait que la plaignante était soumise au secret professionnel. Indépendamment des questions de connexité et de fors, on ne saurait donc voir dans la décision de jonction une faute particulièrement grave dénotant une intention délibérée de nuire au prévenu.
L'arrêt 1B_478/2018 concerne une procédure dans laquelle le recourant agissait non comme prévenu, mais comme avocat de son frère. L'admission de ce recours par le Tribunal fédéral (au demeurant pour des raisons procédurales et notamment sans examen de fond de l'admissibilité de la censure du courrier, comme cela est également relevé dans l'arrêt 1B_65/2020) ne permet donc pas d'en déduire une quelconque prévention du Procureur à l'égard du recourant. Le recourant se plaint aussi du maintien au dossier de l'ensemble des courriels, mais cette question fait l'objet d'une procédure de recours encore pendante.
3.3. Sur le vu de l'arrêt du 18 mai 2020, les reproches formulés précédemment par le recourant ne sont pas non plus propres à fonder une récusation; rien n'indiquait que le procureur ait donné des instructions à un autre procureur, et une éventuelle information sur le droit de déposer plainte n'était pas critiquable; les propos virulents dont le recourant se plaignait avaient été prononcés dans le cadre du réquisitoire dans la procédure concernant son frère; les absences de décisions dont se plaignait aussi le recourant pouvaient faire l'objet le cas échéant d'un recours pour déni de justice.
Pris séparément ou dans leur ensemble, les griefs soulevés par le recourant à l'encontre du magistrat instructeur ne sauraient justifier sa récusation.
4.
Le recours doit par conséquent être rejeté, aux frais du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 19 juin 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Kurz