Менять у вас без его согласия не получится, оставьте пока так. А вот снять - почему бы нет? Вы тем самым лишите его возможности вами манипулировать.Пришел в условленное время в условленное место, получил детей,  через некоторое время привез - ВСЕ. А рыться в шкафах без зрителей ему скучно будет. Да, ваш переезд не означает, что он может туда свою кралю возить, вы тоже будете иметь право приходить туда когда угодно и кралю выставить.