Dalrymple har levd til og fra i India siden 1989, og har tilbrakt det meste av året på sin gård i utkanten av Delhi, men somrene i London og Edinburgh. Dalrymple er gift med Olivia Fraser, som er kunstner og kommer fra en familie med langvarige forbindelser til India. De har tre barn, Ibby, Sam og Adam.