Faits : A. Le 6 avril 2018, une instruction pénale a été ouverte à l'encontre de B._ pour atteintes à l'honneur (art. 173 ss CP), à la suite de la plainte pénale déposée le 7 mars 2018 par A._. Dans le cadre de cette procédure, le Premier Procureur Olivier Elsig de l'Office régional du Ministère public du Valais central a, le 9 janvier 2019, procédé - en présence des parties et de Me Alain Alberini, avocat de B._ - à l'audition de A._ en qualité de personne appelée à donner des renseignements, puis à celle de B._ en qualité de prévenue. B. Le 16 janvier 2019, A._ a demandé la récusation du Premier Procureur Olivier Elsig. Ce dernier a transmis, le 23 janvier 2019, la requête de récusation à la Chambre pénale du Tribunal cantonal du Valais avec ses déterminations. Invités à se prononcer sur cette requête, Me Alain Alberini et B._ ont déposé des déterminations le 19 février 2019. C. Par ordonnance du 20 mars 2019, la Juge unique de la Chambre pénale du Tribunal cantonal a rejeté la demande de récusation présentée par le plaignant contre le Premier Procureur intimé. D. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cette ordonnance, d'admettre sa demande de récusation et de demander au Procureur général de nommer immédiatement un autre procureur dans cette cause. A titre subsidiaire, le plaignant demande le renvoi de la cause au Tribunal cantonal afin que celui-ci procède à l'audition des témoins, puis admette sa demande de récusation. Invités à se déterminer, la Juge unique s'est référée aux considérants de son ordonnance du 20 mars 2019 et le Premier Procureur à ses déterminations du 23 janvier 2019. Quant à B._, elle a conclu au rejet du recours, rejoignant le raisonnement présenté par le procureur intimé dans les déterminations précitées. Par ordonnance du 14 mai 2019, le Juge présidant de la Ire Cour de droit public du Tribunal fédéral a rejeté la requête de mesures provisionnelles présentée par le recourant tendant à ce que le Premier Procureur intimé soit démis provisoirement de ses fonctions dans la procédure pénale en cours jusqu'à droit connu sur l'issue de la présente procédure fédérale.