På en holme i fjorden låg fästet Stenviksholm.