第15代エロル伯爵ジェイムズ・ヘイと2人目の妻イザベラ(、旧姓カー()、1742年3月31日-1808年11月3日、ウィリアム・カーの娘)の長男として、1767年5月13日にアバディーンシャーので生まれた。