Вот именно потому, что это в первую очередь работа, я бы искала возможность поехать. Потому что в следующий раз руководитель вам что-то другое предложит... в последнюю очередь. Этот отказ и ваше :"Я не могу оставить детей" - минус в вашу карьерную копилку, увы.