Если вы сейчас от него убегаете и не хотите отношений, именно таких как раньше, то ставьте ультиматум: или он оставляет вас в покое, иначе вы предаете отношения огласке и пусть сам разбирается с женой, или пусть уходит из семьи.При этом вы ничего не тереяете, но можете получить из двух вариантов тот, который вас в любом случае  устроит.