Etter konfirmasjonen jobbet han som hjelpegutt i en butikk i et halvt års tid mens han prøvde å få hyre, og til slutt fikk han napp på et skip fra Skien. Livet ombord ble ikke som forventet og han fortalte senere at skipperen hadde vært slem mot ham; 17 år gammel stakk Ole av mens skipet var inne i en av havnene ved Østersjøen. Han fortalte senere at han etterhvert fikk hyre på en amerikansk fullrigger, og seilte verden rundt på amerikanske og engelske skip.