Титул лорда Элфинстоуна был создан королём Шотландии Яковом IV Стюартом 14 января 1510 года для сэра Александра Элфинстоуна из Элфинстоуна (ум. 1513), который через три годы погиб в битве с англичанами при Флоддене. Ему наследовал его сын, Александр Элфинстоун, 2-й лорд Элфинстоун (1510—1547), погибший в битве при Пинки. Его внук, Александр Элфинстоун, 4-й лорд Элфинстоун (1552—1638), служил лордом-казначеем Шотландии. Его потомок, Джон Элфинстоун, 11-й лорд Элфинстоун (1737—1813), заседал в Палате лордов Великобритании в качестве с 1778 по 1794 год. Его преемником стал его сын, Джон Элфинстоун, 12-й лорд Элфинстоун (1764—1813), который имел чин генерал-лейтенанта британской армии, был в Палате лордов (1803—1807) и лордом-наместником Данбартоншира (1799—1813).