触怒了清盛。清盛帅兵从福原入京，罢免基房及其他反平家的贵族，贬基房为太宰权帅，预备流放太宰府，并且幽禁法皇于鸟羽殿，是为治承三年之变。稍后基房出家，因之流放地改为备前。次年（1180年）基房返回京都。清盛死后，平家势力迅速消落。1183年木曾义仲进入京都，强取基房女伊子；基房亦透过这层关系利用义仲，让12岁的儿子师家成为摄政内大臣。然而木曾义仲后来迅速败亡，师家也被解除官位。自此后基房淡出主要的政治舞台。