Huset lå i sjøkanten, som var mye lengre inne enn i dag. Vest for huset var det en smal gate som gikk ned til Gårdsbryggen. Øst for huset var et annen hus som ble revet på 1860-tallet, og som kan ha vært modell for huset til skipper Worse i Alexander Kiellands romaner. Sør for huset var gateløpet som gikk sammenhengende fra Skagen til Nedre Strandgate.