Ragna Rytter var datter av lærer Johan Gunerius Ryther (1858–1900] og Berit Monsdatter Prest-Bakken (1849–1929). Hun forble ugift.