エリザ・ルモニエは1805年3月24日、ジャン・グリマーユとエティエネット＝ロザリー・アルドベールの第三子マリー・ジュリエット・エリザ・グリマーユとしてソレーズ（オクシタニー地域圏タルヌ県）に生まれた。5人兄弟姉妹（兄弟3人と妹1人）であった。父方のグリマーユ家はソレーズの旧家であり、母エティエネット＝ロザリーは貴族の出である。母方の大叔父モーリス・ド・バロー・ド・ミュラテルは、1792年のヴァルミーの戦いで前線の歩兵隊を率い、プロイセン軍に対するフランス革命軍の初の勝利に貢献した人物であり、母方の祖母アルドベール夫人は1893年にジャコバン派に投獄された経験を持つ。