Panafieu ble presteutdannet ved presteseminarer i Albi og Issy-les-Moulineaux, og ble presteviet i 1956 for erkebispedømmet Albi. Han ble i 1962 sogneprest i Saint-Sauveur-de-Mazamet og kapellan for gymnaset La Pérouse i Albi. Han ble kapellan for universitetssognet og ansvarlig for kapellanene for offentlig utdannelse. Han var kapellan for studentene i Toulouse fra 1967 til 1970, curé-doyen av Brassac (1971–74) og generalsekretær for presterådet (1973–74).