Den 11. mars 1846 ble Pavy valg til biskop av Alger og dette ble prekonisert den 16. april samme år. Han ble ordinert til biskop den 24. mai 1846 av erkebiskopen av Lyon, kardinal Louis-Jacques-Maurice de Bonald; medkonsekratorer var Alexandre Devie, biskop av Belley, og Bénigne-Urbain-Jean-Marie du Trousset d'Héricourt, biskop av Autun.