頼通時代の長元4年(1031年)に焼亡、また後朱雀天皇の里内裏であった長久4年(1040年)9月、後冷泉天皇の里内裏であった天喜2年(1054年)12月にも焼亡し、その度に再建された。