Автор, очень сочувствую. Но проблема тут не в плоскости Вы/родственники мужа, а в плоскости Вы и Ваш муж. И решить ее надо прежде всего с мужем. Ясно же, что он хочет и согласен, что бы его родители и сестра жили здесь. Мне кажется, что даже он и сам их пригласил  и это обсуждалось за Вашей спиной еще во время планирования дома. Советую плотненько насесть на мужа и все обсудить и решить.