Tardivement mais fortement intéressé par l'archéologie, domaine dans lequel il finit par acquérir une réputation internationale, Charma dirige en Normandie plusieurs chantiers de fouilles, notamment à Vieux, Jort, Évrecy, ainsi qu'aux lieux-dits le Catillon près de Bénouville ou encore Val-ès-Dunes à Vimont, et donne parallèlement une vive impulsion à la Société des antiquaires de Normandie, dont il est le secrétaire de 1849 à 1868. Il dirige également la revue "La Normandie monumentale". Il pratique enfin l'édition de textes anciens relatifs à l'histoire de la Normandie, dont le plus important est un volume des "Mémoires" de la Société consacré aux "Grands Rôles de l'Échiquier de Normandie". Sa compétence en ces matières incitèrent le ministre de l'Instruction publique d'alors de faire de lui un membre titulaire du comité des Travaux historiques. Son action et ses protestations auprès du ministère, jointes à celles d'Arcisse de Caumont, contribuèrent par ailleurs à sauver l'église Saint-Étienne-le-Vieux à Caen, promise à la destruction en raison de son délabrement.