Sønnen Trygve Olsen (Ap/Sp) var fiskeriminister i Lars Korvalds regjering 1972–73, mens en annen sønn, Birger Olsen ble nestformann i Norges Fiskarlag.