Вы могли бы первые уйти. Он приходит домой, вы сразу за дверь. Это если сильно так хочется. Хотя это всё радикальные способы, не меняют сути проблемы. И не помогают, потому что вам надо договориться, чтобы вы могли без проблем уходить. Не сбегать, а именно спокойно уходить. А у вас этого нет.