"Любить" и "очень нравится" совсем разные вещи. С женой и ребенком его связывает гораздо больше, чем с временной симпатией. Но в вашей ситуации он хочет новых ощущений с симпатичной ему женщиной.Типичный вариант действий: попытаться сохранить обеих женщин.