Перефразирую: раздражать может и звонок в урочное время, если вы прилегли отдохнуть, но маловероятно, что вы позволите вылить его на собеседника в таком случае. В 12 ночи вы скорее всего позволите себе ответ, если дело не относится к форс-мажорным, что на другом конце провода сильно не правы. Поэтому дело не в личном  раздражении, а в том, что диктуют правила хорошего тона. Не отключил звук - твои проблемы,либо не отключил звук, т.к. недопустимы подобные сообщения, а вокруг люди нормальные.