Han var fjerde sønn av William Adam of Blair Adam og hans hustru Eleanora, datter av Charles Elphinstone, 10. Lord Elphinstone.