Han var gift og hadde fem barn, deriblant datteren Thea jobber som sportsjournalist TV 2. Han var bror av økonom Øystein Olsen og sønn av Akers Mek-direktør Ivar Olsen.