I 1884 ble han sogneprest i New York, og fra 1891 til 1902 ledet John Murphy Farley erkebispedømmet New Yorks forvaltning som generalvikar.