Su padre, Robert Downey Sr., es un actor, escritor, productor, director de fotografía y director de cine; y su madre, Elsie —cuyo apellido de soltera era Ford—, también era actriz y apareció en películas de Downey Sr.