Walsøe ble ansatt som lensmann i Karlsøy i Troms i 1853, hvor han kjøpte eiendommen Kammen og stiftet familie. Han giftet seg med Hanna Lovise f. Figenscou samme år. De fikk ett barn, Laura Elisabeth f. 1854.