Не факт, что причина в нём. Возможно, вы на него переносите своё раздражение чем-то другим. У меня с родителями так было. Мама раздражалась на работе сильно, но там не могла показывать своё недовольство, нельзя было. Зато, когда приходила домой орала на меня или на отца, или на собаку, всё равно на кого, лишь бы пар спустить.