Odd Sigvald Olsen var gift med Marit K. Olsen, som var barnebarn til fangstmannen Johan Nilsen Nøis, og de fikk fire barn. Det var Johan Olsen, Liv Nina Myklebost, Odd Ivar Nøis Olsen og Hugo Andre Olsen.