Han vokste opp på Yttersund på Ytter-Vikna som sønn av gårdbruker Ole Paulsen Borgan og hustru Margrethe Jensdatter Dalen. Gården var en av få på Ytter-Vikna der gårdsdriften betød mer enn fisket. En eldre bror hadde odelsretten til gården, så Kasper drog til sjøs, hvorpå han ble kontorist hos lensmann Peder Anzjøn. Han giftet seg i 1874 med Anne Margrethe Hansdatter. I 1879 kjøpte han gården på Svinøya i Vikna og ble assistent hos oppsynsbetjenten for lofotfisket. Senere ble Sund oppsynsbetjent for viknafisket. I 1897 ble han utnevnt til lensmann i Fosnes (med Otterøy).