Ну сложно, значит играйте в молчанку дальше. Он не ответственен за ваши отношения, за них ответствены вы, всегда только взрослый, а не ребёнок. И сейчас вы показываете тот шаблон поведения, который у него заложится в дальнейшем в жизни. Вот так будет в молчанку и хлопанье дверью с женой, друзьями и коллегами играть.