Elliott har vært gift med skuespilleren Katharine Ross siden 1984. Han og Ross har en datter, Cleo Rose, født i 1984.