『吾妻鏡』によれば、中世には大倉観音堂と呼ばれ、文治5年(1189年)の火災時には別当浄台房が炎の中から本尊を持ち出し無事であったされる。