Dalrymple ble født som den syvende av seksten barn. Hans foreldre var James Dalrymple og hans kone, datter av jarlen av Haddington.