Так не уходите. Подрастите ребёнка, чтобы он нормально переносил ваше отсутствие, развивайте его интересы, помогите завести ребёнку хобби, кружки, друзей, его жизнь перестанет концентрироваться только на вас, тогда и "устраивайте личную жизнь". Не всем удаётся усидеть на 2 стульях сразу.