Faits : A. A la suite de la plainte déposée le 8 janvier 2016 par son épouse B.A._, le Ministère public de l'arrondissement de Lausanne a ouvert une instruction pénale contre A.A._ pour voies de fait et viol. Par courrier du 2 mars 2016, Me C._ a informé la direction de la procédure que A.A._ lui avait confié la défense de ses intérêts; il a sollicité sa désignation en qualité de défenseur d'office. Par ordonnance du 7 mars 2016, le Ministère public a désigné Me C._ en qualité de défenseur d'office du prévenu. Le 29 avril 2016, le Ministère public a procédé à l'audition de la plaignante en présence du prévenu et de Me C._. D'entrée de cause, la plaignante, par l'entremise de son conseil, a requis le renvoi de l'audience, invoquant un conflit d'intérêts avec Me C._, lequel était un ami de la famille et avait assisté au mariage des époux A._. L'avocat a contesté l'existence d'un conflit d'intérêts tout en confirmant qu'il était un ami de la famille avec laquelle il avait encore mangé pour la dernière fois au mois de septembre 2015. B. Par ordonnance du 12 mai 2016, le Ministère public de l'arrondissement de Lausanne a relevé Me C._ de sa mission de défenseur d'office du prévenu. Statuant sur recours du prévenu, la Chambre des recours pénale du Tribunal cantonal vaudois a confirmé cette décision par arrêt du 6 juin 2016. C. Agissant par la voie du recours en matière pénale, A.A._ demande au Tribunal fédéral d'annuler l'arrêt cantonal et l'ordonnance du Ministère public. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Le Ministère public conclut au rejet du recours. La cour cantonale se réfère aux considérants de son arrêt. Le recourant réplique et persiste dans ses conclusions. Par ordonnance du 25 août 2016, le Président de la Ire cour de droit public a rejeté la demande d'effet suspensif déposée par le recourant.