Ulvøysunds eldste hus som fortsatt står, har vært gjestgiveri. Husets eldste deler er trolig fra 1600-tallet. Den første beboer i Ulvøysund vi har skriftlig vitnesmål om, var bonden Jørgen Olsen som overtok gården Ulvøen i 1670.