Louis Durey var sønn av en forretningdrivende. Han begynte med musikk relativt seint og komponistutdannelsen foregikk stort sett autodidaktisk.