天皇（时为法皇）的挑拨下，与他的弟弟源义经交恶，后来义经转投奥州藤原氏，赖朝迫奥州藤原氏杀死义经，但义经死后两月，奥州藤原氏仍然被鎌仓幕府所灭。源赖朝死后，幕府的政权开始被他的妻子北条政子与岳父北条时政掌握，北条政子又称为尼姑将军。北条氏借由世袭幕府执权一职架空幕府将军的权力，甚至在除掉第二、三代将军源赖家、源实朝兄弟以后，从京都迎接贵族摄关家藤原氏甚至皇室成员出任将军，即“摄家将军”与“亲王将军”时期。在将军九条赖经的时代，将军支配众多有力御家人以对抗北条氏，在京都则有将军的父亲九条道家执掌公家最高权