Если он жену не предупреждал, что задержится,  и оставлял ее ночью звонить по моргам, то почему вам, просто сожительнице, требовать от него другого к себе отношения? Не нужно вам жить вместе. Встречайтесь на нейтральной территории в оговоренное время для секса и имейте в виду, что он может и не прийти.