Вопрос Вы задали, а вот ответ у Вас свой на него есть. Смысл в таком вопросе? У Вас, действительно, мания какая-то от недостатка авторитета в коллективе. Ни один здравомыслящий человек не будет болтать по телефону, когда сильно занят. Я работала управляющей кофейни, у нас девочки официантки хранили телефоны у себя на ресепшене, там где монитор с R-keeper'ом стоял. Без звука. Зато, когда забивали заказ могли глянуть - если есть неотвеченный вызов от кого-то, кого они сочтут важным - могли перезвонить, попросив на минуту подменить в зале. Если что-то не срочное - звонили в свои перерывы. Только все начальство уважали искренне, а на Вас, похоже, плюют - раз при руководителе позволяют себе болтать постоянно. Просто Вас ни во что не ставят. Думайте о том, как авторитет повысить - тогда отдача у сотрудников сама вверх пойдет.