Han var utdannet skipper. Han bodde det meste av livet på Sandur, hvor han giftet seg med Svava (1930–1997), datter av Jóan Petur Davidsen. Olsen var sauebonde på Sandur frem til høsten 2007.