Faits :
A.
Le 3 octobre 2018, le Ministère public de l'arrondissement de la Côte a ouvert une instruction pénale à l'encontre de A._ et C._, à la suite de leur plainte réciproque.
A._ a adressé à la Procureure B._ en charge du dossier un courrier daté du 18 mars 2019 dans lequel il lui faisait part de ses doléances au sujet de l'audience du 12 mars 2019. Considérant qu'il s'agissait d'une demande de récusation, cette magistrate l'a transmise avec ses propres déterminations, par pli du 22 mars 2019, à la Chambre des recours pénale du Tribunal cantonal vaudois qui les a reçues le 26 mars 2019. Cette autorité a aussitôt communiqué une copie des déterminations de la Procureure intimée à A._ et elle a, par décision du même jour (expédiée le 8 mars 2019), rejeté ladite requête de récusation.
B.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral, à titre principal, d'annuler la décision du 26 mars 2019 et de renvoyer la cause à l'instance précédente pour nouvelle décision et, à titre subsidiaire, de réformer la décision du 26 mars 2019 en ce sens que la magistrate intimée est récusée.
Le Tribunal cantonal et le Ministère public renoncent à se déterminer et se réfèrent à la décision entreprise.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour recourir (art. 81 al. 1 LTF). Pour le surplus, le recours a été interjeté en temps utile (art. 100 al. 1 LTF) contre une décision rendue en dernière instance cantonale (art. 80 al. 1 LTF) et les conclusions prises sont recevables (art. 107 LTF). Il y a donc lieu d'entrer en matière.
2.
Dans un premier grief d'ordre formel, le recourant se plaint d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.), en tant qu'il n'a pas pu se prononcer sur les déterminations de la magistrate puisque celles-ci sont datées du 22 mars 2019 et que l'instance précédente a statué à peine 4 jours plus tard, soit le 26 mars 2019.
2.1. Compris comme l'un des aspects de la notion générale de procès équitable au sens de l'art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où il l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (<ref-ruling> consid. 4.1.1 p. 52). Il appartient aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part (<ref-ruling> consid. 3.2 p. 192).
Le droit de répliquer - qui vaut en principe pour toutes les procédures judiciaires (<ref-ruling> consid. 2.5 p. 157 s.; arrêt 1B_502/2017 du 7 février 2018 consid. 2.1) - n'impose en revanche pas à l'autorité l'obligation de fixer un délai à la partie pour déposer d'éventuelles observations. Elle doit seulement lui laisser un laps de temps suffisant, entre la remise des documents et le prononcé de sa décision, pour qu'elle ait la possibilité de déposer des observations si elle l'estime nécessaire (<ref-ruling> consid. 4.1.1 p. 54). A cet égard, le Tribunal fédéral considère qu'un délai inférieur à dix jours ne suffit pas à garantir l'exercice du droit de répliquer, tandis qu'un délai supérieur à vingt jours permet, en l'absence de réaction, d'inférer qu'il a été renoncé au droit de répliquer. En d'autres termes, une autorité ne peut considérer, après un délai de moins de dix jours depuis la communication d'une détermination à une partie, que celle-ci a renoncé à répliquer et rendre sa décision (arrêts 6B_1058/2018 du 17 décembre 2018 consid. 1.1; 1B_502/2017 du 7 février 2018 consid. 2.1 et les arrêts cités).
2.2. En l'occurrence, il ressort du dossier que l'instance précédente a, par courrier du 26 mars 2019, adressé au recourant une copie des déterminations - circonstanciées en fait et en droit - de la Procureure intimée et qu'elle a, par décision du même jour, rejeté la demande de récusation. L'instance précédente a ainsi statué sans que le recourant n'ait eu l'opportunité de répliquer. Il importe peu que la décision du 26 mars 2019 ait été expédiée aux parties le 8 avril 2019, soit plus de dix jours après que le recourant a pris connaissance des déterminations de la Procureure, puisque la Chambre des recours pénale n'aurait pas pu tenir compte d'une prise de position spontanée déposée après le 26 mars 2019. Pour le surplus, nul ne prétend que la cause présentait une urgence telle qu'il se justifiait de priver le recourant de son droit de prendre position sur les déterminations de la Procureure visée par la demande de récusation. Dans ces circonstances, la Chambre des recours pénale a violé le droit d'être entendu du recourant.
La violation du droit d'être entendu ne peut pas être réparée devant le Tribunal fédéral dans la présente cause (cf. <ref-ruling> consid. 2.7 p. 199; arrêts 1B_502/2017 du 7 février 2018 consid. 2.2; 1B_233/2016 du 27 juillet 2016 consid. 2.3). Partant, le recours doit être admis et la décision attaquée annulée, sans qu'il soit nécessaire d'examiner les autres griefs soulevés. La cause sera renvoyée à la Chambre des recours pénale pour nouvelle décision, après avoir octroyé au recourant la possibilité d'exercer son droit à la réplique.
3.
Le présent arrêt sera rendu sans frais dès lors qu'en vertu de l'art. 66 al. 4 LTF, ils ne sauraient être mis à la charge de l'intimée ou de l'autorité précédente qui est à l'origine de la violation du droit d'être entendu du recourant et de l'annulation de la décision attaquée. Conformément à l'art. 68 al. 1 LTF, le recourant a droit à des dépens à la charge du canton de Vaud.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. La décision attaquée est annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera une indemnité de 2'000 fr. au mandataire du recourant à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 25 juin 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Arn