Utmattet etter arbeidet trakk biskop Lavialle seg tilbake til tett ved Nazareth nær Bardstown, der han senere døde i en alder av 46 år. Han ble gravlagt i krypten til i Louisville.