Если завещания нет, то мама могла наследовать по закону долю. Трансмиссия - это наследование вами за маму в деле умершего брата. Мамино дело открывается отдельно. Поэтому нотариус не права, вы вправе после брата не наследовать. Но вам верно заметили, что вы то можете не претендовать, а дети брата будут претендовать на имущество мамы. Так что стоит обсудить изначально с другими наследниками и прийти к решению. Либо все-таки принять и после мамы и после брата по трансмиссии (сроки по трансмиссии не пропустите)