Обязательная доля выделяется только в случае наследования по завещанию. Раз завещания не было, то мама наследует наравне с остальными наследниками первой очереди как наследница по закону. Т.е. никакой обязательной доли быть не может. Если в письме от нотариуса к вам говорится о вашем праве наследования по трансмиссии, то вы можете отказаться от этого права и наследовать только исключительно за мамой. Это действительно два разных основания наследования и вы можете отказаться от одного из них.Замечу, что внуки мамы (дети вашего брата) также имеют право наследовать по праву представления за вашей мамой.