Значит, не может уйти. Возможно, любовница замужем и с детьми. Вот он и вынужден жить с Вами просто потому, что Вы и накормите, и постираете. Удобно, знаете ли. А задерживаться и телефон прятать необязательно - если сослуживцы, то вся личная жизнь на работе.