Doillon ble født i Paris. Han har to døtre: Lola Doillon (født 1975), hvis mor er filmklipperen Noëlle Boisson, og Lou Doillon (fra 1982), fra hans forhold med skuespillerinnen Jane Birkin på 1980-tallet.