Графский род происходит от сэра Джорджа Рамсея, который представлял Кинкардиншир в шотландском парламенте в 1617 году. Он получил титулы барона Далхаузи и барона Мелроуза после отставки (1580—1626). В 1618 году он стал пэром Шотландии, получив титул лорда Рамсея из Мелроуза. В 1619 году Джордж Рамсей получил титул лорда Рамсея из Далхаузи. Ему наследовал его старший сын, Уильям Рамсей, 2-й лорд Далхаузи (ум. 1672). Он заседал в шотландском парламенте от Монтроза (1617, 1621) и занимал пост генерального шерифа Эдинбургшира. В 1633 году для него был создан титул лорда Рамсея из Керингтауна и графа Далхаузи в графстве Мидлотиан (пэрство Шотландии). Его внук, Уильям Рамсей, 3-й граф Далхаузи (ум. 1682), участвовал в в 1679 году. Его старший сын, Джордж Рамсей, 4-й граф Далхаузи (ум. 1696), погиб на дуэли с Гамильтоном. Он не был женат, и ему наследовал его младший брат, Уильям Рамсей, 5-й граф Далхаузи (ум. 1710). Он был полковником и бригадным генералом британской армии, участвовал в Войне за испанское наследство.