文政12年(1829年)、8代藩主斉脩が嗣子なく病重篤になるにおよび継嗣問題が起きるが、このとき義質の長男・義観が敬三郎(後の斉昭)擁立派の頭首となったため、斉昭時代に重用されることとなった。