Хозяин нарушил условия договора. Ибо вы квартиру снимали для того, чтобы жить там, а не для того чтобы по квартире шастали в ваше отсутствие. Вы право пользования квартирой только для себя и прописанных в договоре людей купили за деньги и на определенный срок. Смотрите санкции в договоре за нарушение его условий. Если не найдете общего языка с хозяином, готовьтесь к досрочному расторжению договора. Если не готовы к досрочному выезду, можете попытаться потребовать снижения платы за квартиру, т.к. хозяин целенаправленно и в одностороннем порядке ухудшает условия вашего проживания.