Han var sønn av fisker Arthur Kristoffer Olsen og hustru Emma Alvilde Isaksen. Han giftet seg i 1956 med Lill Kjøndahl.