Ваша дочь  - весьма наглая девица, любящая только себя. Ставьте на место, пока не поздно. Автор, у вас работа и еще маленький ребенок, да и личная жизнь не закончена. При таких данных  вы с внуком можете видеться, навещать на пару часов. А сидения только по оооочень значительной причине. Никаких "хочется побыть с мужем". Вам тоже надо с мужем побыть. Или тогда по очереди, пусть дочь тоже забирает брата и возвращает с поделкой к конкурсу, написанным сочинением и сводив в кино.