Talbot fue el único hijo de William Davenport Talbot y de Lady Elisabeth Fox Strangways, hija del segundo conde de Ilchester.