京都发生了严重的火灾「太郎烧失（安元の大火）」，大内里多处遭殃，正殿大极殿烧毁，此后未再重建，安德天皇的即位式，改在内里正殿紫宸殿举行。但安德天皇在源平合战中罹难，被视为不祥，因此，后鸟羽天皇的即位式，改在太政官厅举行。此后室町时代时的天皇多循此例。文治5年（1189年）又开始重建工作，但在承久之乱中全部烧毁。荒废的大内里尚残存了朱雀门附近的宫墙。此后这里被作为马场使用，在内乱时也曾作为战场，后期部分变为农地，丰臣秀吉在这里建造「聚乐第」。安贞元年（1227年）内里火灾，大内里永远停止了重建。