Я бы на вашем месте боялась не того, что к жене уйдет, а того, что вообще 3ю найдет. Потому что основа отношений у вас такая - хреновая, вы же понимаете, что он ушел не из-за великой любви к вам, а еще и из-за того, что с женой отношения испортил. Захотелось гульнуть -тут доступная женщина, думал, что сойдет с рук, не вышло. Плюс квартира его, а вы не в браке. Шаткое у вас положение. В сожительстве мужчина считает себя свободным, а женщина в гражданском браке. С его стороны вполне может выглядеть так, что он рассорился с женой, купил себе квартиру и проживает там, но не один, а с женщиной.