Ida Kjerulf var datter av den danskfødte riksherold Peder Kjerulf og Betzy Lasson. Hun hadde fem brødre, blant dem komponisten Halfdan Kjerulf, geologen Theodor Kjerulf og maleren Hjalmar Kjerulf. Fire av barna kom til å dø av tuberkulose som unge eller voksne. Ida Kjerulf var sykelig i oppveksten og bodde to år på et ortopedisk institutt i Tyskland.