Hans foreldre var Joseph Barthélemy og Magdeleine Rastit. Barthélemy begynte sine klassiske studier ved Oratoriets i Marseille. Han fortsatte med filosofi og teologi ved jesuittenes , og til slutt studerte han ved lazaristenes presteseminar. Under presteutdannelen brukte han mye energi på orientalske språk, og ble etterhvert interessert i klassiske oldsaker og i særdeleshet i numismatikk.