Считаю, что не уходит, потому что не хочет иметь ту женщину в качестве жены. Жена у него есть, это - Вы, и Вы его устраиваете в этом качестве. ИМХО, ваша семья не потеряна. Любовница неустроена, она обязательно начнет его мучить этой неустроенностью, рано или поздно они расстанутся. А ваша семья как была, так и останется. Единственный момент, нет никаких гарантий, что после этой неустроенной не появится устроенная\замужняя\ с ребенком, которой он не понадобится в качестве мужа.