Ну, если коллективу больше нечего делать, как отслеживать, кто когда  пришел, и кто когда ушел, то хрен с ними, пускай ржут. Они в любом случае найдут повод автору кости помыть. Не надо преувеличивать роль трудового коллектива в жизни человека,строить свою жизнь в зависимости от мнения толпы - это уже слишком.