Man vet at væpner Nils Ravaldsson bygde en borg på klippen under opprøret under Knut Alvsson mot Kong Hans. Etter Knut Alvssons død ble Nils Ravaldsson den norske lederen av stormannsopprøret, men under våpenhvilen 1504 angrep danskene ham på Olsborg, Nils flyktet og døde ikke lenge etter på en gård i Västergötland. Det var høvedsmannen på Bohus Otto Rud som ledet an angrepet på Olsborg, julenatten 1504.