El pequeño castillo fue edificado sobre una colina rocosa —de donde viene su nombre— por los antepasados de Henri de Sévigné, aristócrata bretón que en 1644 se unió en matrimonio con Marie de Rabutin-Chantal, futura Marquesa de Sévigné.