Вы не поняли немного, не "разбор полётов" кто-кого толкнул и почему так делать нельзя, не надо объяснять что вас задело, не надо извиняться ни вам, ни ему и пр. Надо подойти к нему с конкретным предложением: "Вася, каждое воскресенье и каждую вторую субботу мы тебя с детьми до 14.00 беспокоить не будем, но две субботы в месяц я буду спать до 12.00 и каждое воскресенье с 18.00-20.00 ходить в бассейн, в это время дети на тебе, милый". Мужчины хорошо понимают, когда предлагают им, а не берут у них, причём готовые решения они тоже хорошо принимают, вот как каждые конкретные мужчина и женщина выполняют свои договорённости, это совсем другая тема.