甚至曾试图抢夺幕府旧臣安达景盛之妾，其独断的态度也招致御家人的反感。赖家母系一方的北条氏为了限制新将军的行政大权，阻止其“独断专政”，开始禁止源赖家亲自参与裁决诉讼，而代之以北条氏等御家人为首的十三人合议制度。此后镰仓诸将密谋将其废黜，并推举其弟千幡（源实朝）为新任将军，镰仓旧臣梶原景时及比企能员先后对以北条氏为首的反赖家势力进行最后的反击（梶原景时之变、比企能员之变），但均以失败告终，赖家更是被北条时政剥夺将军之职，流放到伊豆修禅寺（今静冈县伊豆市）中幽禁。随着源赖家被北条氏所流放，后者也开始正式掌握