Ну, конечно, лучше отказаться, в Вашей ситуации, хотя бы на время. Только без пафоса и громких заявлений. Воспользуйтесь каким-нибудь предлогом. Типа, уволили-предложили работу в другом городе, а сейчас не время отказываться, а пока устроиться надо, а потом еще че-нить. Высылайте денег на содержание дочери и родителей и пишите, что скучаете. Концов не рубите, мало ли, вдруг дочь-подросток Вас больше заинтересует.