与源义经不和。文治五年（1189年），后白河法皇允许源赖朝率军远征陆奥羽，灭保护义经的藤原泰衡，确立全国武家政治体制。文治六年（1190年），源赖朝上京会见后白河法皇，任朝廷权大纳言(太政官副职)、右近卫大将军等职，假以法皇名义控制各地军政大权。建久三年（1192年）三月十三日，后白河法皇驾崩，源赖朝任征夷大将军，建立鎌仓幕府，后白河法皇院政告一段落。
评价.据《平家物语》所述，其人嗜游、不务正业，世称「」。其父鸟羽法皇亦对他的行为非常不满，曾批评他「无文、不武、非能、阙艺