L'Héritier de Brutelle ble født inn i en velstående parisisk familie. I 1772 ble han skogforvalter i Paris. Stillingen stimulerte L'Héritier de Brutelle til studier i botanikk. Han gikk i gang med å lære seg om franske trær og busker, men var også interessert i eksotiske planter, og ble tilhenger av Carl von Linnés taksonomi.