Ну, кмк, человек волен отдыхать так, как ему комфортно. Значит с младшей дочерью Вашей маме более комфортно, удобно отдыхать, чем с Вами или с Вашим сыном. Кроме того, имея рядом четырехлетнего ребенка, об отдыхе говорить вообще не приходится, если уж совсем честно, какой бы он спокойный и воспитанный не был.