Bræður Sigurðar voru Erling Ólafsson (21. ágúst 1910–23. desember 1934), kunnur baríntónsöngvari á fyrri hluta 20. aldar og Jónatan Ólafsson (17. febrúar 1914–11. apríl 1997), sem var þekktur píanóleikari og tónskáld.
Bræður Sigurðar voru Erling Ólafsson (21. ágúst 1910–23. desember 1934), kunnur barítónsöngvari á fyrri hluta 20. aldar, og Jónatan Ólafsson (17. febrúar 1914–11. apríl 1997), sem var þekktur píanóleikari og tónskáld.