В таком случае - вам нужно изменить правила. Вы подавлены, так как он держит всё под контролем. ПОстарайтесь планировать встречи. Он говорит, что придёт тогда-то, спрашивайте, когда и как долго, чтобы вы могли строить планы соответственно. Придите домой слегка подвыпившие и с цветами. С порога - а, ты ещё здесь?! Если он пишет вам, что придёт тогда-то, ответьте, что именно на тогда у вас уже есть планы, пускай придёт в другой день, или заберёт ребёнка на выходные. И т.д. Главное - нужно, чтобы вы контролировали его, а не он вас.