Baring giftet seg i 1935 med Mary Cecil Grey, datter av Charles Grey, 5. jarl Grey. Hun arvet 1700-tallsgodset Howick Hall fra sin far som døde i 1963.