Faits : A. A.a. A la suite de la plainte pénale déposée le 27 mars 2012 par D._ contre A._ pour gestion déloyale - subsidiairement escroquerie -, abus de confiance et faux dans les titres, le Ministère public de l'arrondissement du Nord vaudois a ouvert une instruction pénale contre le second. Les deux susmentionnés étaient associés dans la société B._ Sàrl, dont le but était l'affinage et la commercialisation de fromages. D._ reprochait en substance à A._ d'avoir développé, à son insu, une activité de vente au détail - non prévue - et d'avoir conservé les produits des ventes, sans les reverser dans la comptabilité de la société. D._ soutenait également que A._ aurait imité sa signature sur un contrat de leasing relatif à une remorque et de s'être approprié les 15'000 fr. qui lui auraient été remis pour acquérir ladite remorque. Le 5 mars 2014, le Ministère public a informé les parties qu'il envisageait d'ordonner une expertise portant sur la gestion de la société et de désigner en tant qu'experts C._, président de l'interprofession du fromage, et E._, du cabinet fiscal F._ SA. Les deux parties ont pu s'exprimer sur le choix des experts et les questions à leur poser (cf. les courriers des 11 mars et 7 avril 2014). Les deux experts ont été mandatés le 10 avril 2014 et, le 4 septembre suivant, ils ont rendu leur rapport d'expertise financière. Par ordonnance du 12 janvier 2016, le Ministère public a classé la procédure pénale s'agissant des chefs d'infraction d'abus de confiance et de faux dans les titres. Ce même jour, il a renvoyé le prévenu en jugement pour gestion déloyale, subsidiairement abus de confiance. A.b. Les débats du Tribunal de police de l'arrondissement de la Broye et du Nord vaudois ont été ouverts le 11 janvier 2017. Ont notamment été entendus les deux experts, ainsi que la partie plaignante; cette dernière a déclaré qu'elle connaissait l'expert C._ depuis des années et qu'il l'avait mise en garde, car, selon lui, la cave devait être rentable, alors que les caisses étaient vides. Ce même jour, à la suite d'une reprise d'audience, A._ a demandé, compte tenu de la déclaration de D._, la récusation de l'expert C._ et le retrait du dossier de l'expertise du 4 septembre 2014. Le Tribunal de police, statuant sur le siège, a rejeté ces deux requêtes; cette autorité a en substance considéré qu'il n'était pas étonnant que des échanges ou des contacts aient pu exister entre des parties actives dans le monde du fromage et le président de l'interprofession de ce fromage; elle a également relevé qu'il n'existait pas de rapport d'amitié étroit entre la partie plaignante et l'expert, si bien qu'aucun motif de prévention n'était dans le cas d'espèce suffisamment motivé. Le 16 janvier 2017, le Tribunal de police a reconnu A._ coupable de gestion déloyale et l'a condamné à une peine privative de liberté de dix mois, avec sursis pendant deux ans. B. Par acte du 16 janvier 2017, A._ s'est adressé à la Chambre des recours pénale du Tribunal cantonal vaudois, demandant la récusation de l'expert C._ et le retrait du dossier de l'expertise du 4 septembre 2014, ainsi que des autres moyens de preuve recueillis grâce aux opérations de l'expert. Ce dernier s'est déterminé le 20 février 2017. Le 7 mars 2017, la Chambre des recours pénale a déclaré cette requête irrecevable. C. Par acte du 12 avril 2017, A._ forme un recours en matière pénale contre cet arrêt, concluant à son annulation et au renvoi de la cause à l'autorité précédente afin qu'elle entre en matière sur sa demande du 16 janvier 2017 tendant à la récusation de l'expert C._, au retrait du dossier du rapport d'expertise du 4 septembre 2014 et des autres moyens de preuve recueillis grâce aux opérations effectuées par l'expert. Invités à se déterminer, le Ministère public et l'autorité précédente se sont référés à la décision attaquée. C._ et D._ ont en substance conclu au rejet du recours. Les 31 mai, 1eret 7 juin 2017, les parties ont persisté dans leurs conclusions respectives. Par courrier du 27 juin 2017, D._ a renoncé à déposer des observations complémentaires.