Насчет  выключенного телефона.Возможно девушка стала настойчивой и муж боится ее звонка  в вашем присутствии.Имхо,для меня не было бы неожиданностью,если она попытается выйти с вами на разговор или как-то обозначить свое присутствие в жизни  вашего мужа. Насчет летнего отдыха вас с детьми. Вам ехать с детьми отдыхать нужно обязательно,ибо никакой муж не стоит  здоровья детей! Если ситуация не прояснится к этому времени( а я думаю,что  все выйдет наружу скоро),то с мужем по-любому придется разговаривать и отношения выяснять. Оставить нынешнюю ситуацию в лето нельзя.Имхо.