Ytterhorn var datter av grosserer Ingar Thorud og Anne-Marie Prydz. Hun var gift med stortingsrepresentant Bjørn Erling Ytterhorn (1923–1987).