Peter Joseph Lavialle ble født til Guillaume og Marie Jeanne ( Faure) Lavialle. Han studerte teologi under sulpicianerne. I 1842 aksepterte han en invitasjon fra sin slektning, biskop Guy Ignatius Chabrat, om å bli med i bispedømmet Louisville i Kentucky.