Молчать? Нет, с какой стати. То, что он второй день припоминает, не очень. Никаких извинений, и не думайте. Такие вещи надо четко останавливать. И никакого чувства вины, даже не думайте.  Верно предложили симметричную ситуацию, как супруг отнесся бы к  вашей ночевке у вашего БМ?