Поясните ему, что Ваше общение с ним вносит дискомфорт в Ваши отношения с мужем и ВАМ это НЕ нравится. Поэтому Вы желаете общаться с ним поменьше.Достаточно нейтральная позиция, которая и ему будет приятна и в целом соответствует Вашему искреннему настрою.