Caumont var også interessert i geologi, og la ned stort arbeid i oppbyggingen av det franske vernet av fornminner. Han var med på å opprette foreningen , og den kom til å tjente som mønster for andre fornminneforeninger. I 1834 innstiftet han . Dette samfunnet utga som han redigerte i mange år.