Бывает и так. Мы всей семьей играем в Монополию и пр. Младшего "взяли в банду" вот совсем недавно, в 5 лет. До этого играли естественно без него. И так может быть и  вдргуих играх и занятиях. Не пытайтесь мужу и старшему сыну навязать младшего. Наступит время, когда они сами его возьмут. Вы во время их занятий сами младшим занимайтесь. Это нормально.