Чтобы избежать такой реакции, вам надо было представить ситуацию так, что вы ушли, а дети остались, то есть не присматривать старший остался, а остался потому, что вы имели право побыть вдвоем.Но вообще вы должны были заранее оговорить подобную ситуацию, а не строить из себя "добрую тетушку".