Я думаю, если бы дело было в том, что воспитателей ругают за эти пропуски, они бы давно уже вам об этом сказали  По-моему, причина недовольства в том, что вы таким образом показываете, что сад вам не сильно-то и нужен и ходите вы туда по настроению. А это никому и нигде не понравится, хоть в саду, хоть в кружках-секциях. Да, это не армия, не обязаловка, но если уж стали ходить, ходите нормально, а пропуск по уважительной причине.