Lemoyne var sønn av en kusk ved det franske kongelige hoff. Kort etter at hans far døde, giftet moren seg med Robert le Vrac, kalt . Av ham fikk Lemoyne sin første korte kunstneriske opplæring.