Su padre, Joseph Charles Duncan, era un banquero y empresario minero de Sacramento que abandonó la familia cuando Isadora era aún muy pequeña.