Точно. Дело действительно не в том, " ложки пропадают" и брать нечего.  А просто не доставляйте ему довольствия считать вас запасным вариантом.  Менять не планируйте замки. Напишите смс : напоминаю: квартира не твоя и ты можешь посещать ее только с моего  предварительного разрешения. Мы с тобой больше не муж и жена.