Han var av bankfamilien Baring og faren til blant andre Evelyn Baring, 1. baron Howick av Glendale.