Den 15. februar 1872 ble Gilmour utnevnt til den andre biskop av Cleveland i Ohio av pave Pius IX. Han mottok sin bispeinnvielse den påfølgende 14. april fra erkebiskop Purcell i , med biskopene Augustus Toebbe og Caspar Henry Borgess som medkonsekratorer.