Faits :
A.
A.a. Le Ministère public du canton du Valais, Office régional du Valais central, a ouvert le 31 octobre 2017 une instruction pénale (référencée sous MPC 2017 1612) contre A._, avocat à U._ (VS), pour menaces (art. 180 CP), tentative d'entrave à l'action pénale (art. 22 CP ad art. 305 CP), voire instigation à faux témoignage (art. 24 CP ad art. 307 CP), subsidiairement tentative d'instigation à faux témoignage (art. 24 CP ad art. 307 CP). Le 22 novembre 2017, l'instruction a été étendue à l'infraction d'injure (art. 177 CPP), le 15 décembre 2017 à celle d'instigation à dénonciation calomnieuse (art. 24 ad art. 303 CP) et le 22 janvier 2018 à celle de violation du secret professionnel (art. 321 CP).
La procédure pénale est dirigée depuis le 24 janvier 2018 par le Procureur Olivier Elsig, Premier procureur de l'Office régional du Valais central.
A.b. Les faits reprochés à A._ ont fait l'objet d'un rapport de dénonciation établi le 18 juin 2018 par la Police cantonale. Il en ressortait notamment qu'entre juin 2017 et décembre 2017, dans le cadre de son mandat de défenseur de son frère B._, prévenu d'infractions répétées contre l'intégrité sexuelle dans une autre procédure pénale menée par le Ministère public valaisan, A._ aurait incité plusieurs parties plaignantes et témoins à faire de fausses dépositions sur les faits de la cause, notamment par le biais de courriers qu'il aurait lui-même préalablement rédigés, dans l'optique d'affaiblir l'instruction pénale ouverte contre son frère. A._ aurait en outre pris à partie une des victimes présumées de son frère, à savoir C._, lors d'une soirée en discothèque, en lui crachant dessus, en l'insultant et en la menaçant. Par la suite, il aurait déposé plainte contre l'intéressée, arguant faussement avoir été agressé en premier. A._ s'en serait également pris à D._, une autre victime présumée de son frère, en l'intimidant alors qu'elle était assise à une terrasse dans le centre-ville de U._. Apostrophé par des membres de la famille de la précitée, il aurait proféré des menaces et des insultes à leur égard, adressant par la suite plusieurs courriers au père de D._ ainsi qu'un commandement de payer, portant sur le versement d'un montant de 10'000 fr. pour "tort moral et dégât d'image".
Aux termes du rapport, A._ contestait la plupart des faits qui lui étaient reprochés.
B.
B.a. Le 17 décembre 2018, A._ a transmis à son frère B._, alors en détention provisoire, la copie non anonymisée d'un jugement du 23 novembre 2018 du Tribunal du Ill e arrondissement pour les districts de Martigny et Saint-Maurice, qui lui avait été notifié en sa qualité de conseil juridique de la partie plaignante E._. Le 21 décembre 2018, il lui a également adressé la copie d'un jugement du 20 décembre 2016 du Tribunal cantonal valaisan, qui lui avait été notifié en sa qualité de défenseur du prévenu F._, lequel avait notamment été reconnu coupable de séquestration et de viol.
Le 3 janvier 2019, le Procureur Olivier Elsig a rappelé à A._ que le courrier de son frère B._ était censuré par ses soins et l'a invité à lui transmettre l'autorisation écrite des parties concernées lui permettant de communiquer les jugements précités à son frère.
B.b. Par ordonnance du 16 janvier 2019, la Chambre pénale du Tribunal cantonal valaisan a interdit au Procureur Olivier Elsig d'ouvrir la correspondance échangée entre B._ et A._, après avoir été sommée par le Tribunal fédéral d'entrer en matière sur le recours de B._ du 25 juin 2018 en tant qu'il avait trait à la surveillance de cette correspondance (cf. arrêt 1B_478/2018 du 14 novembre 2018).
B.c. Le 3 mai 2019, Rahel Brühwiler, Procureure auprès de l'Office central du Ministère public du canton du Valais, a informé E._ de la transmission par A._ à B._ d'une copie non anonymisée du jugement du 23 novembre 2018, ainsi que de son droit de déposer plainte pénale contre son ancien conseil juridique pour violation du secret professionnel.
E._ a déposé plainte pénale, le 11 juin 2019, contre A._, pour violation du secret professionnel (art. 321 CP). Le lendemain, la Procureure Rahel Bruehwiler a ouvert une instruction pénale (référencée sous MPG 19 890) contre A._ du chef de cette infraction.
B.d. Le 25 juillet 2019, A._ a demandé la récusation de la Procureure Rahel Bruehwiler dans la cause MPG 2019 890. Le 22 août 2019, cette dernière a transmis cette demande de récusation à la Chambre pénale qui l'a rejetée par ordonnance du 25 septembre 2019.
Le recours en matière pénale formé par A._ contre cette ordonnance a été rejeté, dans la mesure de sa recevabilité, par le Tribunal fédéral (cf. arrêt 1B_525/2019 du 24 janvier 2020).
C.
C.a. Le 30 août 2019, A._ a requis du Procureur Olivier Elsig sa récusation ainsi que l'annulation et la répétition des actes de procédure auxquels celui-ci avait participé dans la cause MPC 2017 1612.
Le 4 septembre 2019, le Procureur, qui s'est opposé à la demande de récusation, a transmis cette dernière à la Chambre pénale comme objet de sa compétence.
C.b. Le 15 novembre 2019, A._ a complété sa demande de récusation en faisant parvenir à la Chambre pénale un article du journal "Le Nouvelliste", paru le 6 novembre 2019, relatant le procès de B._ qui s'était tenu, la veille, par-devant le Tribunal des districts de Martigny et Saint-Maurice. Son contenu était notamment le suivant:
" [...]
Le frère avocat mis en cause
L'affaire prend un relief particulier à cause du rôle d'un avocat, frère du prévenu. En effet, certaines victimes disent avoir subi des pressions de la part de l'homme de loi. "Il voulait m'aider financièrement pour que je ne dise rien à la police", a affirmé mardi l'une d'elles.
Fin 2017, cet avocat avait été brièvement arrêté et une procédure ouverte contre lui. Le procureur Elsig parle "d'ignoble tentative de déstabilisation et de dénigrement des victimes".
Le procès se poursuivra mercredi avec, notamment, la plaidoirie de la défense. "
Le 20 novembre 2019, le Procureur Olivier Elsig s'est déterminé.
C.c. Par ordonnance du 24 décembre 2019, la Chambre pénale a rejeté la demande de récusation dans la mesure de sa recevabilité.
D.
Agissant le 3 février 2020 par la voie du recours en matière pénale au Tribunal fédéral contre l'ordonnance du 24 décembre 2019, A._ a conclu, avec suite de frais et dépens, à la récusation du Procureur Olivier Elsig, à la désignation d'un autre procureur ainsi qu'à l'annulation et à la répétition des actes de procédure auxquels ce dernier avait participé.
Le Procureur intimé a conclu au rejet du recours dans la mesure de sa recevabilité. La Chambre pénale ne s'est pas déterminée. A._ a déposé de nouvelles écritures en date des 13, 16, 23 mars, 30 avril et 5 mai 2020.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour recourir (art. 81 al. 1 LTF). Pour le surplus, le recours a été interjeté en temps utile (art. 100 al. 1 LTF) contre une décision rendue en dernière instance cantonale (art. 80 al. 1 LTF) et les conclusions prises sont recevables (art. 107 LTF). Il y a donc lieu d'entrer en matière.
2.
Selon l'art. 99 al. 1 LTF, les faits et moyens de preuve nouveaux sont prohibés; il n'y a d'exception à cette règle que lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve, ce qu'il appartient au recourant de démontrer (<ref-ruling> consid. 3). Par ailleurs, des mesures probatoires devant le Tribunal fédéral (art. 55 LTF) ne sont qu'exceptionnellement ordonnées dans une procédure de recours (<ref-ruling> consid. 2), dès lors que le Tribunal fédéral conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF).
En l'espèce, conformément à l'art. 102 al. 2 LTF, l'instance précédente a transmis dans le délai imparti le dossier cantonal, lequel comprend ceux des causes MPC 2017 1612 et TCV P3 2019 237. Au surplus, en tant que le recourant requiert encore l'édition des dossiers relatifs aux instructions pénales MPG 2019 890 et MPB 2018 662, prétendument connexes, il ne tente pas pour autant de démontrer l'existence de circonstances exceptionnelles justifiant d'ordonner une telle mesure d'instruction. Il ne ressort du reste pas de l'ordonnance entreprise que le magistrat intimé serait en charge des deux dernières procédures citées, étant observé au demeurant que la récusation requise par le recourant paraît l'avoir été dans le seul cadre de la procédure MPC 17 1612 et qu'elle vise uniquement le Procureur Olivier Elsig. Il ne sera dès lors pas donné suite à cette requête.
De même, en tant qu'elles ont trait à des faits nouveaux, les pièces produites par le recourant doivent être écartées.
3.
3.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (art. 97 al. 1 LTF; <ref-ruling> consid. 4.1.2 p. 62), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF.
3.2. Invoquant à cet égard une constatation manifestement inexacte des faits pertinents, le recourant reproche à la cour cantonale d'avoir omis de constater que, le 4 novembre 2019, le magistrat intimé s'était entretenu téléphoniquement avec son collègue Pierre-François Vulliemin, Procureur auprès de l'Office régional du Bas-Valais, en charge de l'instruction pénale MPB 18 662, sans consigner cet entretien au procès-verbal de la cause MPC 17 1612.
Le recourant ne démontre toutefois pas s'être prévalu de cette circonstance comme d'un motif justifiant la récusation du Procureur intimé. Il peut de surcroît être déduit du courrier du 7 novembre 2019, adressé par le Procureur Vulliemin au Procureur Elsig, que l'entretien qui y était évoqué n'avait trait qu'à un échange de vues informel entre les magistrats précités, intervenu avant que le Procureur Vulliemin rende une ordonnance de disjonction, laquelle avait par la suite été contestée par le recourant dans le cadre d'un recours. Dans ces circonstances, on ne voit pas que la cour cantonale a versé dans l'arbitraire en n'en tenant pas compte au moment de déterminer si le magistrat intimé pouvait se voir reprocher une apparence de partialité en raison de graves erreurs de procédure qu'il aurait commises.
Pour le reste, le recourant n'expose pas clairement les faits qu'il entend contester, ni ne démontre a fortiori en quoi ceux-ci auraient été établis de manière arbitraire. Il n'y a dès lors pas lieu de prendre en considération d'autres faits que ceux retenus dans la décision entreprise. Les critiques qui se fondent sur des faits non établis sont irrecevables.
4.
Le recourant fait valoir contre le magistrat intimé divers griefs qui démontreraient une apparence de partialité justifiant sa récusation en application de l'art. 56 let. f CPP.
4.1. Un magistrat est récusable, selon l'art. 56 let. f CPP, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2 p. 74).
Dans le cadre de l'instruction, le ministère public est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête (<ref-ruling> consid. 2.2.1 p. 145); tel est notamment le cas lorsqu'il décide de l'ouverture d'une instruction (qui suppose l'existence de soupçons suffisants au sens de l'art. 309 al. 1 CPP) ou lorsqu'il ordonne des mesures de contrainte (arrêts 1B_315/2019 du 24 septembre 2019 consid. 3.1; 1B_150/2016 du 19 mai 2016 consid. 2.2). Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste cependant tenu à un devoir de réserve et doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 3.2.2 p. 180; <ref-ruling> ibidem).
De manière générale, ses déclarations doivent être interprétées de façon objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêts 1B_449/2019 du 26 novembre 2019 consid. 4.1; 1B_150/2016 du 19 mai 2016 consid. 2.3). En particulier, une autorité d'instruction ne fait généralement pas preuve de partialité lorsqu'elle mentionne des circonstances factuelles relatives à la séance et/ou émet quelques doutes, par exemple en relevant des contradictions dans les versions données; on ne peut en effet exclure qu'une telle manière de procéder - pour autant qu'elle ne soit pas utilisée systématiquement ou qu'elle soit accompagnée de moyens déloyaux - puisse faire progresser l'enquête (arrêt 1B_186/2019 du 24 juin 2019 consid. 5.1 et les arrêts cités). Des propos maladroits ne suffisent en principe pas pour retenir qu'un magistrat serait prévenu, sauf s'ils paraissent viser une personne particulière et que leur tenue semble constitutive d'une grave violation notamment des devoirs lui incombant (<ref-ruling> consid. 2d p. 200; arrêt 1B_186/2019 du 24 juin 2019 consid. 5.1).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que la personne en cause est prévenue ou justifient à tout le moins objectivement l'apparence de prévention. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises par la direction de la procédure (<ref-ruling> consid. 3.2 p. 74 s.; <ref-ruling> consid. 3.2.3 p. 180; <ref-ruling> consid. 2.3 p. 146).
4.2. Le recourant reproche au Procureur intimé d'avoir ouvert les plis qu'il avait adressés les 17 et 21 décembre 2018 à son frère B._, alors en détention provisoire, puis d'avoir transmis une partie de leur contenu, à savoir la copie non anonymisée d'un jugement pénal concernant E._, l'une de ses anciennes clientes, à la Procureure Brühwiler pour qu'elle informe celle-là de son droit de déposer plainte contre son ancien conseil pour violation du secret professionnel (art. 321 CP).
Comme l'a relevé l'autorité précédente, il apparaît que ce n'était qu'à la suite de son ordonnance du 16 janvier 2019 qu'il avait été formellement interdit au magistrat intimé d'ouvrir la correspondance échangée entre le recourant et son frère. Avant cette date, rien de décisif ne pouvait être déduit quant à la légalité de la surveillance épistolaire opérée par le Procureur. En particulier, l'arrêt 1B_478/2018 du 14 novembre 2018 ne faisait qu'enjoindre la Chambre pénale à entrer en matière sur le recours déposé par B._ le 25 juin 2018, en tant qu'il avait trait à la surveillance, par le Procureur intimé, du courrier échangé entre les deux frères (cf. arrêt 1B_478/2018 précité consid. 3), sans se prononcer sur la légalité de la surveillance en tant que telle.
Par ailleurs, il est déduit des constatations de la Chambre pénale que le Procureur intimé s'était limité, le 25 mars 2019, à signaler au Procureur général Nicolas Dubuis la transmission à B._ de la copie non anonymisée d'un jugement pénal. Rien n'indique dès lors que le magistrat en cause, Premier procureur de l'Office régional du Valais central, avait donné des injonctions à la Procureure Brühwiler, dont il n'était pas le supérieur hiérarchique dès lors qu'elle était l'une des procureurs de l'Office central du Ministère public. De surcroît, comme cela a déjà été relevé dans l'arrêt 1B_525/2019 du 24 janvier 2020 concernant la récusation de la Procureure Brühwiler, l'information donnée le 3 mai 2019 par cette dernière à E._ quant à son droit de déposer plainte ne saurait constituer un motif de récusation. Cette communication à la personne concernée apparaissait en outre cohérente avec le fait que la Procureure Brühwiler avait préalablement dénoncé, en application de l'art. 15 LLCA en lien avec l'art. 13 LLCA, les faits litigieux à la Chambre de surveillance des avocats (cf. arrêt 1B_525/2019 précité consid. 5.2).
On ne saurait dès lors déduire, des circonstances évoquées par le recourant en lien avec les copies de jugements qu'il avait transmises à son frère, l'existence de graves erreurs de procédure commises par le Procureur intimé.
4.3. Se référant ensuite à l'article publié le 6 novembre 2019 dans le journal "Le Nouvelliste" à la suite des débats tenus dans le cadre de la procédure pénale dirigée contre son frère, le recourant reproche au magistrat intimé d'avoir qualifié son comportement "d'ignoble tentative de déstabilisation et de dénigrement des victimes", démontrant ainsi que son opinion était déjà formée.
La cour cantonale a estimé que le recourant n'était pas fondé à se plaindre des propos que l'intimé avait exprimés dans le cadre du procès de son frère (cf. ordonnance entreprise, p. 8 s.). Sur ce point, elle a ainsi donné cré dit aux explications fournies par le Procureur intimé qui, dans ses déterminations à la Chambre pénale (cf. dossier cantonal P3 2019 237, P. 58 s. et 65 s.), avait précisé que les termes relatés par le journaliste, pour autant qu'il les avait effectivement prononcés en cette teneur, l'avaient été dans le cadre de son réquisitoire contre B._ et visaient dès lors uniquement ce dernier, soit en particulier le comportement que celui-ci avait personnellement adopté à l'égard de ses victimes, sans que les faits reprochés au recourant ne fussent abordés, ni qu'une appréciation à leur égard ne fût émise.
Au vu du contexte dans lequel les propos litigieux auraient été tenus, le raisonnement de la cour cantonale peut être suivi. S'agissant en effet d'éléments qui pouvaient s'avérer déterminants pour l'autorité de première instance au moment d'apprécier la culpabilité de B._, il ne saurait être reproché au Procureur d'avoir adopté un comportement déloyal en évoquant dans son réquisitoire, certes en des termes qui peuvent paraître quelque peu virulents, les pressions subies par les victimes dans le cadre de l'instruction menée contre le frère du recourant.
Au surplus, le recourant ne prétend pas que le magistrat intimé serait tenu de se récuser par la seule circonstance qu'il avait déjà soutenu l'accusation dans la procédure pénale dirigée contre son frère.
4.4. En tant que le recourant reproche par ailleurs au Procureur intimé de ne pas avoir statué sur certaines de ses réquisitions de preuve (portant notamment sur des auditions de témoins), formulées il y a plus d'une année, et de ne pas lui avoir encore notifié l'avis de prochaine clôture, alors qu'il avait annoncé en avril 2019 que cet avis serait établi prochainement, ces griefs sont susceptibles de faire l'objet, le cas échéant, d'un recours pour retard injustifié ou déni de justice (cf. art. 393 al. 2 let. a CPP), mais ne sauraient en l'état refléter une apparence de prévention. Il en va de même des reproches visant la conservation prétendument illicite de l'ensemble de ses courriels privés et professionnels, alors que le séquestre portant sur ceux-ci a fait l'objet d'une demande de levée, sur laquelle il n'a pas encore été statué (cf. arrêt entrepris, p. 7).
On ne saurait enfin déduire des faits ressortant de l'ordonnance attaquée que le Procureur chercherait à isoler le recourant en renonçant à prononcer des jonctions, respectivement en ordonnant des disjonctions, avec des procédures pénales qui seraient en lien avec celle ouverte sous la référence MPC 2017 1612. Il est du reste loisible au recourant de contester, dans le cadre des voies de droit ordinairement prévues, les décisions rendues à cet égard.
4.5. En définitive, aucun des motifs avancés par le recourant, pris séparément ou dans leur ensemble, ne permet d'admettre l'existence de circonstances exceptionnelles justifiant une récusation du magistrat intimé dans la présente cause. Partant, la Chambre pénale n'a pas violé le droit fédéral en rejetant la requête de récusation déposée par le recourant.
5.
Il s'ensuit que le recours est rejeté dans la mesure où il est recevable. Le recourant qui succombe supporte les frais de la présente procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 18 mai 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Tinguely