Так вы не оправдывайтесь. Спрашивают "Уже уходишь?!", говорите "Уже ухожу" и уходите спокойно  Пока что больше похоже на таракана в вашей голове, гоните его прочь и не заморачивайтесь. К тому же если свободный график разрешён руководством, то нет ничего зазорного в том, чтобы сильно назойливым сказать, что на эти две недели у вас свободный график. И всё