Ib Spang Olsen var faren til skuespilleren Martin Spang Olsen (født 1962) og filmregissøren Lasse Spang Olsen (født 1965).