Hertervighuset ble bygget på Borgøy i Tysvær kommune, men familien Hertervig tok det med seg til Stavanger da de flyttet til byen i 1838. Huset ble gjenreist i Rosenberggata 38. Familien solgte huset da faren døde i 1885. Da flyttet Lars til Rosenberggata 26, hvor han bodde i seks år. Lars Hertervig døde i 1902.