Downey nació en Manhattan (Nueva York), como el menor de dos hermanos.