Это Вы придумываете.  С чего Вы взяли, что меня что-то раздражает? Если человек заканчивает работать обычно в 7, а в 11 вечера его все еще нету, Вы тоже не позвоните? А вдруг случилось что?Я могу задержаться и поболтать, но если болтовня уходит в ночь, то я позвоню.