Я бы договорилась с мужем, чтобы перед приездом он звонил и я бы уходила из дома. В кафе, в магазин (некоторые до 22). Главное его не видеть. Также попросила бы детей не передавать мне ничего про отца. Так бы психологически  мне стало легче. Его бы тоже об этом информировала. Главное его вообще не встречать и домой входить , когда он уже уйдет. А дети пусть отвечают, на его замечания, что им так нравится жить и все. Без особой полемики. Хотя я бы лучше в жилье ужалась, чем терпеть такие наезды.