Su padre era el teniente coronel John De Morgan (1772-1816), quien ocupó varios cargos al servicio de la Compañía de las Indias Orientales.