Caro Olden var datter av skipskaptein Lorentz Jørginus Eilertsen Olden (1853-1927) og Anna Margrethe Lynum (1848-1933) og forble ugift. Hun var søster av mangeårig rektor ved St. Svithuns skole i Stavanger, Ole Fredrik Olden (f. 1879).