Den 7. juli 1865 ble Lavialle utnevnt til biskop av Louisville av pave Pius IX. Han ble bispeviet den påfølgende 24. september av erkebiskop John Baptist Purcell, med biskopene Jacques-Maurice De Saint Palais og John McGill som medkonsekratorer.