Вот и подстраивайте свой отдых под них. выбирайте время,к огда их там не будет. По-честному, у отца и его семьи приоритет в пользовании ЕГО квартирой. То, что женщина ему не жена, роли не играет. Уважайте отца, его право собственности. Он и так под вас подстраивается, живя в  чужих квартирах, при этом имея свою. Это у него еще святые друзья- пускают его к себе. )