Elle a deux frères, William Keith (décédé en 1580), et Robert Keith, Lord Altrie (décédé en 1596), et six sœurs cadettes : Élisabeth, épouse de Sir Alexander Irvine de Drum, Alison, épouse d'Alexander, Lord Salton, Marie, épouse de Sir John Campbell de Calder, Béatrice, épouse de John Allardice d'Allardice, Janet, épouse de James Crichton de Frendraght et Margaret, épouse de Sir John Kennedy de Balquhan. Sa tante est Élisabeth Keith, épouse de George Gordon, comte de Huntly, qui mena une rébellion infructueuse contre la reine Marie d'Écosse en 1562. Elle est la cousine de Jean Gordon, la première épouse de James Hepburn, qui deviendra lui-même le troisième mari de Marie d'Écosse. Le père d’Agnès était membre du Conseil privé de la reine Marie, et avait combattu à la bataille de Pinkie quand elle avait environ sept ans. Il est mort en 1581.