Maleren Lars Hertervig var født på Borgøy. Foreldrene hans hadde et småbruk innerst i Hattarvågen i fjellsiden på vestsiden av øya. Slektsnavnet Hertervig skal være avledet av , som er navnet på bukten i den nordvestre delen av Borgøya. På fødestedet hans er det satt opp en minneplate. Huset han ble født i, ble flyttet av hans foreldre til Stavanger da hele familien flyttet dit.