『伯耆志』によると、元弘の頃、大石橋五郎左衛門の居城とも伝える。