Dersom Alv hadde en borg på Isegran, kan den ha blitt ødelagt av hertug Håkons styrker i 1287 eller under byggingen av Fredrikstads forsvarsverker på midten av 1600-tallet. Tårnet på Isegran ble bygd i tidsrommet 1674–1742 da Isegran ble forsterket for moderne krigføring.