Han var født inn i den velstående bankierfamilien Baring og var en yngre sønn av Evelyn Baring, 1. jarl av Cromer.