Вы привязываетесь к нему сильнее, чем подразумевает формат ваших отношений. Мужчина или сразу расставит приоритеты-сначала жена, потом все остальное, либо будет метаться между вами обеими и обеих вас обманывать. Не исключено, что со временем вы станете для него важнее. Вам лучше или закончить все сейчас или продолжать, имея в перспективе увод мужчины из семьи и надеясь на лучший исход. Существование в текущем формате может стать для вас мучительным. Кстати, семью можно  разрушить и особо того не желая, его жена рано или поздно все узнает, не сомневайтесь и как она поступит-неизвестно.