Am 18. November 1895 ernannte ihn Papst Leo XIII. zum Titularbischof von "Zeugma in Syria" und Weihbischof in New York. Die Bischofsweihe empfing er von Erzbischof Michael Augustine Corrigan am 21. Dezember desselben Jahres. Mitkonsekratoren waren der Bischof von Brooklyn, Charles Edward McDonnell, und der Bischof von Ogdensburg, Henry Gabriels. Am 15. September 1902 wurde Farley zum Erzbischof von New York ernannt. Papst Pius X. nahm ihn am 27. November 1911 als Kardinalpriester mit der Titelkirche "Santa Maria sopra Minerva" in das Kardinalskollegium auf. John Murphy Farley nahm am Konklave 1914 teil, das Benedikt XV. wählte. Im Ersten Weltkrieg sah er eine Chance auf Frieden nur durch eine deutsche Niederlage. Besonderen Wert legte Kardinal Farley auf die Stärkung des katholischen Bildungswesens. Er starb am 17. September 1918 in Mamaroneck und wurde in der Kathedrale von New York bestattet.