På 1700-tallet fungerte borgen og borgtårnet som stenbrudd. I 1816 ble den fredet, men plyndringen av sten fortsatte.