Arthur Conolly var den tredje av de seks sønner av Valentine Conolly, som var blitt rik i India. Han ble foreldreløs som tolvåring - foreldrene døde da med få dagers mellomrom.