Надо смотреть на хар-р непосредственной начальницы. Если она может постоять за вас - то можно ее попросить сходить к директору и настоять на том, что ваш объем работ не предполагает работу в другом месте. Как доказательство - вы можете написать служебку в письменной форме, где опишите весь объем работ в отделе и ваше в нем участие. Ну типа доказать, что вы не успеваете еще и туда бегать. Если же нет - посоветуйтесь со старожилами, может быть есть смысл самой пойти к директору с тем же вопросом.