Faits :
A.
Le 6 avril 2018, une instruction pénale a été ouverte à l'encontre de B._ pour atteintes à l'honneur (<ref-law>), à la suite de la plainte pénale déposée le 7 mars 2018 par A._.
Dans le cadre de cette procédure, le Premier Procureur Olivier Elsig de l'Office régional du Ministère public du Valais central a, le 9 janvier 2019, procédé - en présence des parties et de Me Alain Alberini, avocat de B._ - à l'audition de A._ en qualité de personne appelée à donner des renseignements, puis à celle de B._ en qualité de prévenue.
B.
Le 16 janvier 2019, A._ a demandé la récusation du Premier Procureur Olivier Elsig. Ce dernier a transmis, le 23 janvier 2019, la requête de récusation à la Chambre pénale du Tribunal cantonal du Valais avec ses déterminations. Invités à se prononcer sur cette requête, Me Alain Alberini et B._ ont déposé des déterminations le 19 février 2019.
C.
Par ordonnance du 20 mars 2019, la Juge unique de la Chambre pénale du Tribunal cantonal a rejeté la demande de récusation présentée par le plaignant contre le Premier Procureur intimé.
D.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cette ordonnance, d'admettre sa demande de récusation et de demander au Procureur général de nommer immédiatement un autre procureur dans cette cause. A titre subsidiaire, le plaignant demande le renvoi de la cause au Tribunal cantonal afin que celui-ci procède à l'audition des témoins, puis admette sa demande de récusation.
Invités à se déterminer, la Juge unique s'est référée aux considérants de son ordonnance du 20 mars 2019 et le Premier Procureur à ses déterminations du 23 janvier 2019. Quant à B._, elle a conclu au rejet du recours, rejoignant le raisonnement présenté par le procureur intimé dans les déterminations précitées.
Par ordonnance du 14 mai 2019, le Juge présidant de la Ire Cour de droit public du Tribunal fédéral a rejeté la requête de mesures provisionnelles présentée par le recourant tendant à ce que le Premier Procureur intimé soit démis provisoirement de ses fonctions dans la procédure pénale en cours jusqu'à droit connu sur l'issue de la présente procédure fédérale.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision prise en dernière instance cantonale relative à la récusation d'un procureur dans une procédure pénale peut faire immédiatement l'objet d'un recours en matière pénale, malgré son caractère incident. L'auteur de la demande de récusation débouté a qualité pour agir en vertu de l'<ref-law>. Le recours a été déposé en temps utile.
Conformément à l'<ref-law>, aucun fait nouveau ou preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Dès lors, les pièces nouvelles produites par le recourant sont irrecevables et il n'en sera pas tenu compte.
2.
A titre de moyens de preuve, le recourant demande l'édition du dossier cantonal (xxx et yyy). Sa requête est satisfaite, l'instance précédente ayant déposé le dossier cantonal complet dans le délai imparti à cet effet (<ref-law>).
En revanche, il n'y a pas lieu d'accéder à sa demande tendant à l'édition du dossier zzz. Le Tribunal fédéral s'estime en effet suffisamment renseigné sur les faits pertinents de la cause pour statuer en l'état du dossier.
3.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>.
En l'espèce, dans la partie de son écriture intitulée " rappel factuel ", le recourant expose certains faits qui ne ressortent pas de l'ordonnance entreprise. Il ne cherche cependant pas à démontrer, en quoi les faits en question auraient été établis de manière arbitraire. Il n'y a dès lors pas lieu de prendre en considération d'autres faits que ceux retenus dans ladite décision. Les critiques qui se fondent sur des faits non établis sont irrecevables.
4.
Invoquant une violation de l'<ref-law>, le recourant fait grief à l'instance précédente d'avoir refusé de procéder à l'audition en qualité de témoin des personnes suivantes: C._ (greffière du Premier Procureur), B._ et l'avocat de cette dernière.
4.1. Selon l'<ref-law>, les autorités pénales mettent en oeuvre tous les moyens de preuves licites qui, selon l'état des connaissances scientifiques et l'expérience, sont propres à établir la vérité. Elles ne sont toutefois pas tenues d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés (<ref-law>). Ce second alinéa codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_217/2019 du 4 avril 2019 consid. 3.1; 6B_259/2019 du 2 avril 2019 consid. 2.1; 6B_1280/2018 du 20 mars 2019 consid. 1.1). Le refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.1.3 p. 435; <ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236). Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>; cf. <ref-ruling> consid. 2.4 p. 368 et les références citées).
Les demandes de récusation font partie des incidents de procédure qui doivent, conformément au principe de célérité, être tranchés sans retard (cf. ANDREAS J. KELLER, in Donatsch/Hansjakob/Lieber [éd.], Kommentar zur StPO, 2e éd., 2014, n° 8 ad <ref-law>). L'<ref-law> prévoit donc que le litige est tranché " sans administration supplémentaire de preuves " (1) lorsque les motifs prévus à l'art. 56 let. a ou f CPP sont invoqués (par le magistrat) ou (2) lorsque la demande de récusation d'une partie est fondée sur l'art. 56 let. b à e CPP. Dans ces hypothèses en effet, le motif de récusation ressort de la demande formée par le magistrat lui-même ou peut être facilement établi par la partie qui demande la récusation (notamment les liens résultant du mariage ou de la parenté). La procédure est écrite et le seul acte d'instruction semble ainsi être la détermination de la personne concernée par la demande de récusation (<ref-law>; arrêt 1B_131/2011 du 2 mai 2011 consid. 2.2), sous réserve du droit de réplique (<ref-ruling>). Lorsqu'en revanche une partie demande la récusation d'un magistrat en se fondant sur l'art. 56 let. a (intérêt personnel dans l'affaire) ou f CPP (rapport d'amitié ou d'inimitié avec une partie ou son représentant), la loi n'empêche pas de manière absolue une instruction plus complète, sous réserve néanmoins des exigences de célérité qui prévalent en procédure pénale (cf. arrêt 1B_178/2019 du 15 mai 2019 et les références citées).
4.2. En l'espèce, la Chambre pénale, ayant procédé à l'examen anticipé de l'offre de preuves demandée par le recourant, ce dernier devait démontrer, conformément aux exigences accrues de motivation de l'<ref-law>, en quoi cette appréciation serait arbitraire. Or le recourant n'invoque ni ne démontre, d'une manière conforme aux exigences de motivation précitées, la violation de l'interdiction de l'arbitraire (art. 9 Cst.). Sa critique est dès lors irrecevable.
5.
Le recourant se plaint ensuite d'une constatation manifestement inexacte des faits pertinents et d'une violation de l'art. 56 let. f CPP.
5.1. Un magistrat est récusable, selon l'art. 56 let. f CPP, " lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention ". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2 p. 74).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que le juge est prévenu ou justifient à tout le moins objectivement l'apparence de prévention. En effet, la fonction judiciaire oblige à se déterminer rapidement sur des éléments souvent contestés et délicats. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises notamment par la direction de la procédure (<ref-ruling> consid. 3.2 p. 74 s.).
De manière générale, les déclarations d'un magistrat - notamment celles figurant au procès-verbal des auditions - doivent être interprétées de manière objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêt 1B_398/2017 du 1er mai 2018 consid. 3.2 et les arrêts cités). En particulier, une autorité d'instruction ne fait généralement pas preuve de partialité lorsqu'elle mentionne des circonstances factuelles relatives à la séance et/ou émet quelques doutes, par exemple en relevant des contradictions dans les versions données; on ne peut en effet exclure qu'une telle manière de procéder - pour autant qu'elle ne soit pas utilisée systématiquement ou qu'elle soit accompagnée de moyens déloyaux - puisse faire progresser l'enquête (arrêts 1B_150/2016 du 19 mai 2016 consid. 2.3; 1B_397/2014 du 25 février 2015 consid. 2.5.1). Des propos maladroits ne suffisent en principe pas pour retenir qu'un magistrat serait prévenu, sauf s'ils paraissent viser une personne particulière et que leur tenue semble constitutive d'une grave violation notamment des devoirs lui incombant. Quant aux remarques humoristiques - généralement inappropriées et pouvant être perçues négativement par les parties en cause -, elles ne permettent de retenir un soupçon de partialité que dans la mesure où elles paraissent méprisantes (<ref-ruling> consid. 2d p. 200; arrêt 1B_434/2017 du 4 janvier 2018 consid. 5.2).
5.2. Le recourant reprend les motifs évoqués dans sa demande de récusation. Il soutient que lors de l'audience d'instruction du 9 janvier 2019, le Premier Procureur aurait clairement manifesté son animosité à son encontre. Ainsi, il expose qu'en début d'audience le magistrat l'aurait d'emblée apostrophé de la manière suivante : " Me A._, je vous ai dit bonjour et n'ai rien entendu de votre part. Il s'agit d'une question de politesse et de déontologie. Peut-être devrais-je vous inscrire à des cours de déontologie ?". Le recourant ajoute qu'en fin d'audience, alors que la prévenue relisait le procès-verbal de son audition, le Procureur lui aurait parlé en ces termes " Me A._, manifestement, lorsque vous vous adressez à votre confrère, vous ne respectez pas les règles de déontologie. Il faut réellement que je vous inscrive à des cours de déontologie, car vous en avez bien besoin. Je vous l'avais d'ailleurs déjà fait remarquer dans certaines de mes correspondances, notamment dans la procédure dans laquelle vous êtes l'avocat de votre frère ". Le recourant soutient qu'il aurait alors rétorqué à ce magistrat: " Tout d'abord, je ne m'adressais pas à vous mais à mon Confrère qui m'a lui-même interpellé. Quant à vos leçons de déontologie, comme je vous l'ai déjà dit, je n'attends rien de votre part ". Le recourant affirme que le Procureur serait alors sorti de ses gonds et aurait vociféré à son encontre: " Débarassez-moi le plancher, débarassez-moi le plancher, débarassez-moi le plancher ". Il voit dans ces déclarations la preuve de la partialité du Premier Procureur à son égard.
5.3. Dans l'arrêt entrepris, la Juge unique a considéré que les prétendus propos tenus par le Premier Procureur ne constituaient pas en l'espèce la marque d'une prévention à l'égard du recourant. Elle a tout d'abord relevé que le Premier Procureur avait tout au plus admis, sans être contredit par B._ et son avocat (cf. déterminations du 19 février 2019), que, comme le plaignant était entré en audience sans le saluer malgré les deux bonjours qui lui avaient été adressés, il lui avait signifié qu'à l'avenir un tel comportement à la fois particulièrement impoli et contraire aux règles élémentaires de la bienséance ne serait pas toléré, à tout le moins lorsqu'il interviendrait comme avocat (cf. prise de position du Premier Procureur du 23 janvier 2019). Cela étant, la Juge unique a considéré que les propos litigieux dénoncés par le recourant, même s'ils étaient avérés, n'étaient pas de nature à rendre le Premier Procureur suspect de prévention. Elle a jugé que de tels propos s'inscrivaient dans le cadre de la police de l'audience - que la direction de la procédure se devait d'assurer - dont faisait partie le rappel des règles de la bienséance lorsque le comportement d'un comparant était inadéquat (cf. art. 63 al. 1 et 2 CPP; cf. arrêt 1B_96/2017 du 13 juin 2017 consid. 2.4).
La Juge unique a estimé qu'il en allait de même avec les propos prétendument tenus par l'intimé à la fin de l'audience. Sur ce point, elle a retenu, en se basant sur la prise de position du Premier Procureur du 23 janvier 2019, non contredite par B._ et son avocat, que le recourant avait fait preuve de certaines observations ou commentaires quelque peu désobligeants envers B._, lors de sa propre audition en qualité de personne appelée à donner des renseignements, puis qu'il avait continué d'émettre des remarques au cours de l'audition de la prévenue, à tel point qu'il avait été rappelé à l'ordre à plusieurs reprises. L'instance précédente a également retenu qu'au terme de cette audition, il avait encore perturbé la relecture du procès-verbal par B._, en intervenant de manière inopinée, sans y avoir été invité, et en tenant des propos peu confraternels à l'encontre de Me Alain Alberini, de sorte qu'il avait été prié de manière répétée, mais sans succès, de cesser d'importuner la prévenue et d'adopter un comportement correct vis-à-vis de son défenseur. Sur la base de ces constatations, l'instance précédente a considéré qu'interprétés de manière objective, en tenant compte du contexte et du but recherché par l'intimé, les trois " Débarassez-moi le plancher " que le Premier Procureur aurait - selon le recourant - prononcé, à voix haute, même s'ils étaient quelque peu maladroits, n'étaient donc pas la marque d'une prévention envers le plaignant, mais tout au plus la manifestation de l'exaspération momentanée de l'intimé pour le comportement incorrigible de celui-ci en séance.
5.4. Le recourant critique l'appréciation de l'instance précédente et maintient sa version des faits évoquée dans sa demande de récusation et exposée ci-dessus (cf. consid. 5.3). Il fait notamment grief à l'instance précédente de ne pas avoir repris l'intégralité des réponses qu'il aurait adressées au Procureur, notamment en début d'audience, et qui ressortaient de sa demande de récusation. Le recourant ne démontre cependant pas - et on ne voit pas d'emblée - en quoi ces éléments auraient été susceptibles d'influer sur le sort de la cause. Il n'y a dès lors pas lieu de compléter l'état de fait de l'ordonnance attaquée.
Le recourant reproche ensuite à l'instance précédente d'avoir constaté à tort qu'il avait tenu des commentaires quelque peu désobligeants envers B._ et d'autres propos peu confraternels envers l'avocat de celle-ci; il se prévaut notamment du fait que la teneur de ces prétendues déclarations ne figure pas dans la décision entreprise. Sur ce point, le recourant semble méconnaître que la note de la direction de la procédure figurant au procès-verbal de son audition du 9 janvier 2019 mentionne, à la demande de Me Alain Alberini, des commentaires de ce type qu'il aurait émis lors de l'audience, lesquels ont toutefois été contestés (cf. procès-verbal d'audition du recourant p. 4). En l'occurrence, compte tenu de la prise de position du Premier Procureur - que B._ a fait sienne (cf. déterminations du 19 février 2019) -, ainsi que de la note précitée de la direction de la procédure, il n'était pas arbitraire de retenir que le recourant avait prononcé des remarques quelque peu désobligeantes au cours de l'audience du 9 janvier 2019, qu'il avait été rappelé à l'ordre à plusieurs reprises, qu'il avait encore perturbé la relecture du procès-verbal d'audition par B._, en intervenant de manière inopinée et en tenant des propos peu confraternels à l'encontre de Me Alain Alberini, et enfin qu'il avait été prié de manière répétée de cesser d'importuner la prévenue et d'adopter un comportement correct vis-à-vis du défenseur de celle-ci. Quoi qu'en pense le recourant, le fait que les propos désobligeants et peu confraternels qu'il aurait tenus ne ressortent pas des procès-verbaux d'audition - hormis ceux mentionnés dans la note précitée de la direction - n'est pas décisif.
En l'occurrence, comme relevé par l'instance précédente, les propos du Premier Procureur doivent être examinés à la lumière de leur contexte et du but recherché par celui-ci (cf. consid. 5.1 ci-dessus). Ainsi, les premières déclarations incriminées ont été articulées par le Premier Procureur après qu'il avait retenu - à tort ou à raison - que le recourant ne l'avait pas salué malgré deux bonjours. Dans ces circonstances, on ne saurait reprocher au magistrat d'avoir voulu rappeler à l'intéressé les règles de bienséance afin de garantir le déroulement serein de l'audience à venir. Le Premier Procureur entendait ainsi simplement exercer les compétences de police de l'audience qui lui sont dévolues.
Les autres déclarations formulées par le Premier Procureur en fin d'audience ne sauraient pas non plus fonder une demande de récusation. Il ressort en effet des faits établis par l'instance précédente que les auditions du recourant et de B._ ont été perturbées à plusieurs reprises par des propos quelque peu inconvenants du recourant, lequel a dû être remis à l'ordre à plusieurs reprises par le Premier Procureur. Les propos dénoncés par le recourant peuvent ainsi se comprendre par le souci du magistrat d'assurer la police de l'audience face à l'attitude incorrigible de celui-ci en séance. En particulier, l'injonction du Premier Procureur de quitter la salle (" Débarassez-moi le plancher ") lors de la relecture du procès-verbal d'audition par B._ - même si elle avait été prononcée en ces termes - ne constituerait pas in casu la marque d'une prévention à l'encontre du recourant, mais l'expression forte de la police de l'audience. On ne saurait en effet donner à une telle injonction, formulée certes de manière maladroite, la portée que lui prête le recourant. Comme relevé par l'instance précédente, cette expression concrétiserait tout au plus l'exaspération momentanée du Premier Procureur pour le comportement incorrigible du recourant tout au long de l'audience du 9 janvier 2019.
5.5. En définitive, aucun des motifs avancés par le recourant, pris séparément ou dans leur ensemble, ne permet d'admettre l'existence de circonstances exceptionnelles justifiant une récusation du magistrat intimé dans la présente cause. Partant, la Chambre pénale n'a pas violé le droit fédéral en rejetant la requête de récusation déposée par le recourant.
6.
Il s'ensuit que le recours est rejeté dans la mesure où il est recevable. Le recourant qui succombe supporte les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au mandataire de B._, au Premier Procureur de l'Office régional du Ministère public du Valais central et à la Chambre pénale du Tribunal cantonal du canton du Valais.
Lausanne, le 24 juin 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Arn