Doyle ble født i Dublin og vokste opp i Kilbarrack, i en middelklassefamilie. Hans mor Ita (née Bolger) var kusine av forfatteren Maeve Brennan.