Pertenecía a una familia católica irlandesa que había proporcionado varios ilustradores y caricaturistas, entre los que destacaban su abuelo John Doyle y tres tíos de Arthur: el ilustrador Richard Doyle, quien diseñó la portada y cabecera de la revista "Punch", el anticuario James Doyle y Henry E.