Вы, скорее всего, изначально неправильно повели разговор. Надо было не отпрашиваться, а ставить перед фактом - нам с папой нужно уехать. И не обязательно говорить про отдых, действительно, ребенок 5 лет, который до этого всегда ездил отдыхать с родителями, может не понять, с чего это вдруг без него поехали. А надо значит надо.