Вы его раздражаете чем-то. Возможно тем, постоянно его задерживаете, копаетесь. Я знаю, что муж не любит ждать. У меня ОКР, мне нужно все проверить перед выходом из  дома, когда все уже в лифте двери держат. Бегу босиком, сапоги в руках. Но с другой стороны понимаю, как это может раздражать, сама ждать не люблю.