Bare et eller to år etter at han tok skippereksamen gikk Ole Paus Ibsen i land og etablerte kolonialhandel i Brevik. 45 år senere fortalte han at han hadde gått lei av sjøen.