Når Skansen ble bygget første gang vet vi ikke sikkert. Kuholmen var en del av kongens gård i Stavanger. Den ble trolig gitt til byen Stavanger under den nordiske syvårskrig og senest i 1567. Det kan ha vært i anledning av at byen trengte å bygge et forsvarsanlegg mot sjøen etter svenskenes erobring av Trondheim, og mislykkede forsøk på å ta Bergen fra sjøen i 1564.