Både faren og bestefaren var møbeltapetserere og begge ble ledere av City Company of Upholsterers. Hans bestefar kom i hardt vær og døde i gjeldsfengselet i Marshalsea. Arnes far tjente nok penger ikke bare til å leie 31 King Street, et stort hus i Covent Garden, men også nok til å sende sønnen til Eton College. Senere i livet tapte også han mesteparten av sine penger, og måtte supplere på inntektene ved en bijobb på Drury Lane Theatre.