Agnès Mortimer est l'un des douze enfants de Roger Mortimer, baron Mortimer de Wigmore et comte de March, et de Jeanne de Geneville, baronne Geneville. Elle est issue de la famille Mortimer, d'origine normande et établie en Angleterre depuis l'avènement de Guillaume le Conquérant. Le père d'Agnès s'illustre militairement au cours du règne d'Édouard II en Irlande et prend part à une rébellion infructueuse contre le roi en 1321 et 1322. À l'issue de celle-ci, les parents et certains membres de la fratrie d'Agnès sont incarcérés sur ordre d'Édouard II, mais Agnès elle-même ne semble pas avoir été concernée par cette décision, probablement en raison de son jeune âge. Elle ne retrouve ses parents et ses frères et sœurs qu'à la chute d'Édouard II à la fin de l'année 1326.