Hans eldre brødre Christian og Adolf Sverdrup overtok handelsstedet på Buøya i 1874. Selv gikk han Trondhjems borgerlige realskole og to år i lære som kontorist i byen før han ble medeier på Buøya. Brødrene delte på ansvaret slik at Jakob tok seg av landhandelen og poståpneriet, Adolf tok seg av fiskehandelen og fraktfarten, mens Christian drev gården.