Hun er datter av skuespiller Ada Kramm (1899–1981) og bratsjisten Hugo Kramm (1890–1958). Moren var av slekten Egede-Nissen og flere av morens søsken var skuespillere. I 1971 giftet Ilse seg med Ole A. Simensen (1943–) som også spilte ved Rogaland Teater.