А какие у него отношения со своими немаленькими детьми? Вполне возможно, что ваша дочь его раздражает. Он не умеет с ней общаться.  Или ему нужны только вы, без разного рода прицепов. Поговорили бы с МЧ. Сказали, что вас беспокоит и что не нравится. Спросили бы, что не нравится МЧ. Глядишь, и проблема решиться.