He was the younger of two sons of James Ellis, an officer in the Dragoon Guards, and Ann Webb, whom James married in Exeter in 1804.
Он был младшим из двух сыновей офицера драгунской гвардии Джеймса Эллиса и уроженки Эксетера Энн Уэбб.