Caran d'Ache var barnebarn af en grenader i Napoleons Grande Armée, blev såret under Slaget ved Borodino og blev tilbage i Rusland. Efter sin bedstefars død blev han adopteret af en polsk familie, hvis datter han giftede sig med.