Faits : A. Le 30 juillet 2013, B._ et C._, assistés de leur mandataire Me D._, ont déposé plainte à l'encontre de leur père A._ pour actes d'ordre sexuel avec des enfants. Leur mère, et ex-épouse du prévenu, a été entendue par la police le 14 août 2013. Le 9 septembre 2013, le prévenu et son fils aîné E._ ont été auditionnés séparément par la police, en présence de l'avocate des plaignants. Par courrier du 16 septembre 2013, le Ministère public a informé le prévenu qu'il devait obligatoirement être assisté d'un défenseur compte tenu de la gravité des faits qui lui étaient reprochés; il a donc constitué Me Alain Ribordy comme défenseur. A._ a à nouveau été interrogé par la police le 28 octobre 2013. Lors de l'audience du 28 mai 2014 devant la Procureure Yvonne Gendre (ci-après: la Procureure), B._ et C._ ont été confrontés à leur père, une paroi de séparation ayant néanmoins été placée entre ce dernier et ses enfants. La question de l'installation de cette paroi avait fait l'objet d'un échange de correspondance entre la Procureure (lettre du 13 mai 2014) et Me D._ (courriel du 19 mai 2014), à l'insu du prévenu. Lors de cette audience de confrontation, A._ a notamment confirmé les déclarations faites devant la police les 9 septembre et 28 octobre 2013. Par décision du 7 juillet 2014, le Ministère public a rejeté la requête du prévenu tendant au retrait du dossier du procès-verbal de son audition du 9 septembre 2013; le prévenu reprochait à la Procureure d'avoir utilisé à son encontre, lors de l'audition du 28 mai 2014, les déclarations faites le 9 septembre 2013. Par arrêt du 14 octobre 2014, la Chambre pénale du Tribunal cantonal (ci-après: le Tribunal cantonal) a confirmé cette décision, autorisant l'exploitation du procès-verbal de l'audition du recourant du 9 septembre 2013. Le 30 mai 2014, A._ a formé une demande de récusation à l'encontre de la Procureure en charge de la procédure. Celle-ci s'est opposée à sa récusation aux termes de ses observations du 7 juillet 2014. B. Par arrêt du 28 octobre 2014, le Tribunal cantonal a rejeté la demande de récusation. Il a considéré en substance que les motifs avancés par le prévenu ne permettaient pas de fonder une apparence de prévention de la magistrate. C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner la récusation de la magistrate intimée. Le Tribunal cantonal et la Procureure renoncent à déposer des observations.