6岁的一幡领关东28国及10岁赖家之弟源实朝领关西38国分权统治。源赖家进行最后的反击，但是比企氏组织讨伐北条氏之计画失败，谋逆的比企氏一族被灭（比企能员之变），其住处小御所被放火，一幡及其母若狭局自尽。父亲赖家其后更被剥夺将军之职，流放到伊豆修禅寺（静冈县伊豆市）中幽禁。翌年，被北条氏派遣刺客暗杀。