Faits :
A.
A la suite de la plainte déposée le 8 janvier 2016 par son épouse B.A._, le Ministère public de l'arrondissement de Lausanne a ouvert une instruction pénale contre A.A._ pour voies de fait et viol. Par courrier du 2 mars 2016, Me C._ a informé la direction de la procédure que A.A._ lui avait confié la défense de ses intérêts; il a sollicité sa désignation en qualité de défenseur d'office.
Par ordonnance du 7 mars 2016, le Ministère public a désigné Me C._ en qualité de défenseur d'office du prévenu. Le 29 avril 2016, le Ministère public a procédé à l'audition de la plaignante en présence du prévenu et de Me C._. D'entrée de cause, la plaignante, par l'entremise de son conseil, a requis le renvoi de l'audience, invoquant un conflit d'intérêts avec Me C._, lequel était un ami de la famille et avait assisté au mariage des époux A._. L'avocat a contesté l'existence d'un conflit d'intérêts tout en confirmant qu'il était un ami de la famille avec laquelle il avait encore mangé pour la dernière fois au mois de septembre 2015.
B.
Par ordonnance du 12 mai 2016, le Ministère public de l'arrondissement de Lausanne a relevé Me C._ de sa mission de défenseur d'office du prévenu. Statuant sur recours du prévenu, la Chambre des recours pénale du Tribunal cantonal vaudois a confirmé cette décision par arrêt du 6 juin 2016.
C.
Agissant par la voie du recours en matière pénale, A.A._ demande au Tribunal fédéral d'annuler l'arrêt cantonal et l'ordonnance du Ministère public. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
Le Ministère public conclut au rejet du recours. La cour cantonale se réfère aux considérants de son arrêt. Le recourant réplique et persiste dans ses conclusions.
Par ordonnance du 25 août 2016, le Président de la Ire cour de droit public a rejeté la demande d'effet suspensif déposée par le recourant.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 381 et la jurisprudence citée).
1.1. Formé en temps utile (<ref-law>) contre une décision prise en dernière instance cantonale (<ref-law>) et qui touche le recourant dans ses intérêts juridiquement protégés (art. 81 al. 1 let. a et b ch. 1 LTF), le recours est recevable comme recours en matière pénale.
Les décisions relatives à la nomination ou la révocation d'un avocat d'office dans le cadre d'une procédure pénale constituent des décisions incidentes, dans la mesure où elles ne mettent pas fin à la procédure dirigée contre l'intéressé (cf. <ref-law>). Le recours en matière pénale (<ref-law>) n'est donc recevable que si la décision entreprise est susceptible de causer un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 4 p. 338; <ref-ruling> consid. 1.1 p. 131). L'hypothèse de l'<ref-law> n'entre manifestement pas en considération ici.
Dans la procédure de recours en matière pénale, un préjudice irréparable se rapporte à un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 2.1 p. 173; <ref-ruling> consid. 4 p. 95). Un tel préjudice est en particulier reconnu lorsque l'autorité dénie la capacité de postuler du conseil d'office ou de choix du prévenu (<ref-ruling> consid. 1.2 p. 263; <ref-ruling> consid. 4 p. 339; arrêt 1B_358/2014 du 12 décembre 2014 consid. 2). Tel est le cas en l'espèce, l'autorité mettant fin à la mission de l'avocat contre sa volonté et celle du prévenu, à raison d'un conflit d'intérêts.
Le recours est par conséquent recevable et il y a lieu d'entrer en matière.
2.
2.1. Selon l'<ref-law>, la direction de la procédure confie la défense d'office à une autre personne si la relation entre le prévenu et son défenseur est gravement perturbée ou si une défense efficace n'est plus assurée pour d'autres raisons. Tel peut notamment être le cas d'un conflit d'intérêts entre l'avocat et la partie adverse. En outre, dans les règles générales relatives au conseil juridique, l'<ref-law> réserve la législation sur les avocats. Conformément à l'art. 12 let. c de loi du 23 juin 2000 sur la libre circulation des avocats (Loi sur les avocats, LLCA; RS 935.61), il incombe en effet à l'avocat d'éviter tout conflit entre les intérêts de son client et ceux des personnes avec lesquelles il est en relation sur le plan professionnel ou privé. Cette règle est en lien avec la clause générale de l'<ref-law>, selon laquelle l'avocat exerce sa profession avec soin et diligence, de même qu'avec l'obligation d'indépendance rappelée à l'<ref-law> (<ref-ruling> consid. 2.1 p. 260; <ref-ruling> consid. 3 p. 109 s.).
Il y a conflit d'intérêts au sens de l'art. 12 let. c LLCA dès que survient la possibilité d'utiliser, consciemment ou non, dans un nouveau mandat les connaissances acquises antérieurement sous couvert du secret professionnel, dans l'exercice d'un premier mandat. Il faut éviter toute situation potentiellement susceptible d'entraîner un tel conflit d'intérêts (arrêts 5A_967/2014 du 27 mars 2015 consid. 3.3.2; 2C_885/2010 du 22 février 2011 consid. 3.1; 2P.297/2005 du 19 avril 2006 consid. 4.1). Un risque purement abstrait ou théorique ne suffit pas, le risque doit être concret. Il n'est toutefois pas nécessaire que le risque concret se soit réalisé et que l'avocat ait déjà exécuté son mandat de façon critiquable ou à la défaveur de son client (arrêts 2C_814/2014 du 22 janvier 2015 consid. 4.1.1; 2C_889/2008 du 21 juillet 2009 consid. 3.1.3). Dès que le conflit d'intérêts survient, l'avocat doit mettre fin à la représentation (cf. <ref-ruling> consid. 9.1 p. 154 s.; <ref-ruling> consid. 4.2.1 p. 112).
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 234) - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 10.1 p. 445; <ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
2.2. Dans une argumentation appellatoire, le recourant tente de nier tout lien entre son défenseur et la plaignante. Il présente les invitations chez lui et son épouse comme de simples "visite[s] de l'avocat au domicile" du client, en faisant abstraction des autres éléments retenus par la cour cantonale, notamment la présence de l'avocat au mariage. Plus particulièrement, le recourant conteste la date de la dernière visite de l'avocat au domicile conjugal; il ne fait toutefois qu'opposer sa version aux faits de l'arrêt attaqué sans exposer en quoi ceux-ci auraient été établis de façon arbitraire ou en violation du droit. C'est à cet égard en vain que le recourant se plaint de l'insuffisance de l'instruction menée par la cour cantonale, s'agissant de faits qu'il aurait précisément été le plus à même de prouver.
La procédure pénale en cause oppose deux époux. Ainsi qu'on l'a vu, il est établi que l'avocat a assisté à leur mariage. Il est également établi que celui-ci a été invité à quelques reprises chez les époux pour y manger. Le conseil du prévenu a ainsi partagé, hors cadre professionnel, des moments de la vie du couple, ce à une période où les faits supposés de la plainte se déroulaient. Cela suffit à créer un risque concret de conflit d'intérêts. Même si ces visites sont peu nombreuses, l'avocat a pu avoir connaissance à ces occasions d'éléments pouvant le placer dans un conflit d'intérêts. Il a personnellement assisté à des épisodes de la vie conjugale des parties. Il existe ainsi naturellement un risque qu'il soit influencé dans un sens ou un autre par ce qu'il a pu voir ou ressentir, même inconsciemment, en côtoyant les époux.
Il n'est en outre pas décisif que, comme l'affirme le recourant, l'avocat n'ait jamais été sollicité pour des questions relevant de la vie conjugale du couple. Ne sont en effet pas seuls visés par l'art. 12 let. c LLCA les conflits résultant de précédents mandats professionnels, mais également ceux occasionnés par d'autres relations professionnelles et, comme en l'espèce, privées. En l'occurrence, comme on l'a exposé ci-dessus, le risque de conflit entre les intérêts du client et ceux d'une personne avec laquelle l'avocat a été en relation sur le plan privé, à savoir l'épouse de son client, est bien réel.
Enfin, c'est également de manière appellatoire que le recourant affirme que la dénonciation d'un éventuel conflit d'intérêts serait une manoeuvre de la part de la plaignante en vue de le déstabiliser sur le plan psychologique. On ne voit par ailleurs pas en quoi le moment auquel la plaignante aurait annoncé ce conflit d'intérêt confirmerait une telle allégation.
Il y a ainsi lieu de confirmer l'appréciation des instances précédentes selon laquelle une défense efficace au sens de l'<ref-law> ne peut être assurée au vu des circonstances.
3.
Dans son mémoire de recours, le recourant "confirme sa conclusion relative à la consultation anticipée de la procédure", indiquant qu'il "se contente sous l'angle de la motivation, à renvoyer aux explications exposées dans son recours du 30 mai 2016". Un tel renvoi est insuffisant (<ref-ruling> consid. 3.2 p. 400; arrêt 2C_445/2008 du 26 novembre 2008 consid. 2, in RDAF 2008 II 528) de sorte que le grief est irrecevable.
4.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure où il est recevable. Les conclusions du recours étant vouées à l'échec, la demande d'assistance judiciaire sera rejetée (art. 64 al. 1 et 2 LTF). Compte tenu des circonstances, le présent arrêt sera rendu sans frais (art. 66 al. 1, deuxième phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public de l'arrondissement de Lausanne et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 30 septembre 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali