Banff, Alberta
第4代バンフ卿ジョージ・オグルヴィとヘレン・ローダー（、1742年10月22日没、の娘）の息子として、1717年2月18日に生まれた。1718年1月に父が死去すると、バンフ卿の爵位を継承した。