В таком случае жестко поговорите с мамой, объясните ей, что ребенок не ее, а ваш! И только вы, как родитель, имеете право ее воспитывать и решать как она будет проводить время. И поменяйте замки, раз мама не понимает что лезть в жизнь взрослого человека не есть правильно. Думаю мама поймет вашу позицию, если вы будете настойчивы.