Возможно ему тоже семья дороже, подумайте с этой стороны. Он вас от измены ограждает, как может, может правда плоховато. Закройте глаза и живите дальше, зачем прогоняли( можешь не возвращаться)? Если хочет вернуться, пусть возвращается, трахнул другую-третью, но вернулся же в семью...