Svetozars Vater war ein wohlhabender Kaufmann in Banja Luka. Nach Hitlers Angriff auf Jugoslawien 1941 wurde dieser von der pro-faschistischen kroatischen Ustaša Organisation interniert. Nach seiner Freilassung floh er mit seiner Familie nach Belgrad. Svetozars Bruder Nikola Koljević (1936-1997), ein bekannter Shakespeare-Forscher, war während des Bosnienkrieges Vizepräsident der Republika Srpska. Er starb am 25. Januar 1997 nach einem am 16. Januar versuchten Selbstmord. Anders als Nikola blieb Svetozar auch während der Jugoslawienkriege unpolitisch, wie er dies auch der New York Times im Juli 1992 im bürgerkriegsversehrten Sarajewo mitteilte.