Milhaud kom fra en av de eldste jødiske slektene i Provence. Ifølge ham selv var både den geografiske og den religiøse bakgrunnen noe som hadde betydelig innflytelse på ham gjennom hele livet.