Olaf Olsen var gift med Hanna Sundstein (1940–2020), søster av tidligere regjeringssjef Jógvan Sundstein. Begge familiene har vært knyttet til Brøðrasamkoman.