亲自参与裁决诉讼，而代之以北条氏等御家人为首的十三人合议制度。此后镰仓诸将密谋将其废黜，并推举其弟千幡（源实朝）为新任将军，镰仓旧臣梶原景时及比企能员先后对以北条氏为首的反赖家势力进行最后的反击（梶原景时之变、比企能员之变），但均以失败告终，赖家更是被北条时政剥夺将军之职，流放到伊豆修禅寺（今静冈县伊豆市）中幽禁。随着源赖家被北条氏所流放，后者也开始正式掌握镰仓幕府的实权。翌年，源赖家被北条时政所派遣的刺客刺杀。
墓地.位于伊豆天城山，毗邻指月殿。