Нет, права у вас обоих. Вы были вправе предупредить его за 2 недели и он должен был бы съехать.  Вы в своем праве тут. Он вас предупреждает что сьезжает, ничего вам не испортил -он в своем праве. Потому что каждый человек вправе распоряжаться своим имуществом на свое усмотрение ( первый пример )  и также каждый человек имеет право на свободное перемещение и право распоряжаться своими денежными средствами ( залог) и не обязан оплачивать не оказанную услугу ( аренда квартиры ), если он ей не хочет больше пользоваться. Сейчас вы нарушение закон, удерживая у себя принадлежащие ему денежные средства.