Faits : A. A la suite de la plainte pénale déposée par B._ le 17 octobre 2014, le Ministère public de l'arrondissement de La Côte instruit une enquête contre A._ pour voies de fait, utilisation abusive d'une installation de télécommunication, tentative de contrainte, contrainte sexuelle, viol et abus de la détresse (PExxx-XCR). Il est notamment reproché au prévenu, en sa qualité de praticien de la médecine chinoise, d'avoir, au cours de l'année 2014, profité de la faiblesse de la plaignante pour se livrer à des actes d'ordre sexuel, de l'avoir contrainte à certaines pratiques sexuelles, de l'avoir importunée par le biais de moyens de télécommunication, ainsi que de l'avoir empêchée de quitter son domicile en la menaçant avec un couteau et en faisant preuve de violence physique. Le 16 mars 2015, A._ a déposé une plainte pénale contre B._, invoquant que les griefs soulevés à son encontre étaient fallacieux et attentatoires à son honneur. Le Ministère public a ouvert une instruction pour calomnie, subsidiairement diffamation, et dénonciation calomnieuse (PEyyy-XCR). Par ordonnance du 27 mars 2015, cette procédure a été suspendue dès lors qu'elle dépendait de l'enquête instruite contre A._ (PExxx-XCR), paraissant ainsi indiqué d'en attendre la fin. La requête du 1er juin 2016 déposée par ce dernier tendant à la jonction de ces deux causes, subsidiairement à la reprise de la procédure PEyyy-XCR, a été rejetée le 3 juin 2016; le Ministère public a retenu qu'il convenait toujours de déterminer d'abord si A._ s'était rendu coupable des comportements dénoncés par B._ avant d'examiner si la seconde l'avait dénoncé alors qu'elle le savait innocent. Par courrier du 24 [recte 23] mai 2016, complété le 14 juin 2016, A._ a déposé une requête de récusation du Procureur Xavier Christe, magistrat en charge de l'instruction des deux causes, demande à laquelle ce dernier s'est opposé. Le requérant s'est encore déterminé le 15 juin 2016, proposant notamment que sa précédente mandataire dépose une détermination écrite dès qu'elle y serait autorisée par le Conseil de l'Ordre des avocats vaudois. Le 17 juin 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté la demande de récusation dans la mesure de sa recevabilité. B. Par acte du 16 août 2016, A._ forme un recours en matière pénale contre cet arrêt, concluant à la constatation de la violation de son droit d'être entendu et en conséquence à l'annulation de l'arrêt attaqué, ainsi qu'au renvoi de la cause à l'autorité précédente. Invités à se déterminer, le Ministère public, ainsi que la Chambre des recours pénale ont renoncé à déposer des déterminations, se référant à la décision attaquée.