Frampå sommeren 1859 stod Andenes fyr ferdig, og dets første fyrforvalter ble kystskipper Sivert Regnor With fra Trondheim. With hadde på dette tidspunktet sluttet å seile som skipper, og hadde stilling som losoldermann på Andenes. Nå flyttet familien inn i fyrvokterboligen, med hustru (Anne B. With) og de to første barna, datteren Anna og sønnen Daniel. Nanna With har tegnet et levende bilde av sin bestefar i boken «Underveis», utgitt på Dreyer forlag i 1954.