一直避免给予源赖朝征夷大将军的称号。关白九条兼实执政期间，正式授予了源赖朝征夷大将军的称号，但在源通亲的建议下，不准赖朝将女儿大姬嫁入宫中。九条兼实的女儿九条任子是后鸟羽天皇的中宫但未生下皇子。1195年源通亲的养女源在子为天皇诞下一子为仁（即后来的土御门天皇）之后，次年京都就发生了政变，九条任子就被废去中宫之位，其父兼实也被罢免官职。这次政变的幕后主谋就是源赖朝。建久9年（1198年）1月11日，后鸟羽天皇禅位给了儿子为仁亲王，是为土御门天皇。此后，后鸟羽上皇开设院政，辅佐土御门、顺德、仲恭三代天皇。