Augustine-Clémence Audouard ble født 21. april 1830 i Nantes som eneste datter av Augustin-René Royer og Joséphine-Gabrielle Audouard Da hennes foreldre giftet seg sju år senere, ble navnet hennes endret til Clémence-Auguste Royer. Hennes mor var syerske fra Nantes, mens faren kom fra Le Mans og var kaptein og en legitimistisk rojalist. Etter at et opprør i 1832 ikke kunne gjenopprette Bourbon-monarkiet, ble familien tvunget til å flykte til Sveits hvor de tilbrakte 4 år i eksil før de returnerte til Orléans. Der ga faren seg til myndighetene og ble stilt for retten for sin del i opprøret, men ble til slutt frikjent.