Il est le fils aîné de David Ogilvy, d'Airlie et de Lady Alexandra Coke. Son jeune frère est Sir Angus Ogilvy, le mari de la princesse Alexandra de Kent. Il sert de page à son père lors du couronnement du roi George VI et de la reine Elizabeth à l'Abbaye de Westminster le . Avec la reine Élisabeth II, à partir de , il est l'un des derniers participants survivants du couronnement de 1937.