埃德蒙·安德罗斯出生于伦敦，他的父亲埃米亚斯是根西岛长官（Bailiff of Guernsey），母亲伊丽莎白·斯通的姐妹是伊丽莎白·斯图亚特的侍女。部分文献指出他在号角城堡（保皇党最后的堡垒）投降时在场，但实际并无证据，他可能在1645年就已经和母亲一起逃离根西岛。1656年，他跟随舅舅、骑兵上尉罗伯特·斯通爵士工作，曾参与第二次北方戰爭，也因此习得法语、瑞典语和荷兰语。