Сэр Джеймс Огилви, преемник Джеймса Огилви, 5-й лорд Огилви из Эйрли (ок. 1541—1606), был сыном Джеймса Огилви, мастера Огилви, который был убит в битве при Пинки в 1547 году. Джеймс Огилви, 5-й лорд Огилви из Эйрли, играл ведущую роль в шотландской политике в период царствования Марии Стюарт и её сына Якова VI. В июне 1562 года 5-й лорд Огилви был тяжело ранен в поединке с Джоном Гордоном из Финдлатера в Эдинбурге. Джон Гордон был заключен в тюрьму до выздоровления Джеймса Огилви.