Elliott se casó dos veces, la primera con la actriz británica Virginia McKenna, y la segunda con Susan Robinson, con quien tuvo dos hijos.