長元3年(1030年)頃の『上野国交替実録帳』では、「正一位伊賀保明神社」の項に玉殿1宇・幣殿1宇・鳥居2基・向屋1宇・美豆垣1廻・荒垣1廻・舞人陪従屋1宇・厨屋1宇と記載がある。