Øyas plassering ytterst i Korsfjorden gjorde at den var ideell for losdrift. På 1700- og 1800-tallet måtte losene speide etter båter som trengte loshjelp inn til Bergen, og ro om kapp for å få oppdraget. Dette var et farefullt yrke, og flere av losmennene fra Viksøy omkom.