シャンパーニュ地方の富裕なブルジョワ家庭に生まれ育った。母フランソワーズ・アンリエット・ルグラ・ド・ボーヴェルセ（1766年 - 1842年）は、最初の夫ルイ＝オーギュスタン・ムニエ・ド・モーロワと死別後、カロリーヌの父で弁護士のシャルル＝トマ・ジベールと再婚したが、彼女が幼い頃にジベールと離婚した。1798年、母は高級軍人のアントワーヌ・ルイエと3度目の結婚をした。ルイエは政府軍の参謀本部付き准将を務めてヴァンデ戦争などに従軍した後、サン・シール陸軍士官学校の校長（administrateur）をしていた人物である。1803年、ルイエ夫妻はアルデンヌ県の小村に立つ領主館を購入し、以後は"ルイエ・ド・ラメス"（"Rouyer de Lametz"）と貴族風の姓を名乗った。これに従い、継父と養子縁組していたカロリーヌも"カロリーヌ・ジベール・ド・ラメス"（"Caroline Gibert de Lametz"）と称した。