Да, вы и правда повели себя нехорошо. Во-1, в отсутствие учителя заходили в класс. Во-2, вы понятия не имеете, зачем и почему она там находится. А ваш тон "так шутя" вполне может быть расценен как намек. Тем более, что нечего детям искать на шкафу.