James Andrew Broun-Ramsay fue el tercer hijo de George Ramsay, 9º Conde de Dalhousie (1770 – 1838), uno de los generales del Duque de Wellington, quien, tras ser Gobernador General de Canadá, fue nombrado Comandante en Jefe de la India.