Han tilbrakte det meste av barndommen i familiens to hjem, det første et stort hus i Dublin og det andre var Dangan Castle 5 km nord for Summerhill ved Trim Road (dagens R158) i grevskapet Meath. I 1781 døde Arthurs far og hans eldste bror Richard arvet farens tittel og besittelser.