Семья Гордон происходит от сэра Адама Гордона из , убитого в битве при Хомильдон-Хилле (1402). Ему наследовала его дочь , жена Александра Сетона, который взял себе фамилию «Гордон» и всем своим мужским потомкам. В 1445 году он получил титул графа Хантли в звании . Его сменил его сын, Джордж Гордон, 2-й граф Хантли (ум. 1501), который занимал должность с 1498 по 1501 год. Его младший сын, достопочтенный Адам Гордон, женился на Элизабет, суо-юре графине Сазерленд. Их внук после смерти своей бабки унаследовал титул графа Сазерленда в 1535 году.