Su padre nació bajo el nombre de "Robert Elias", pero cambió su apellido por el de "Downey" —después de la muerte de su padrastro James Downey— cuando aún era menor de edad y quería alistarse en la armada.