生于德国Palatinate近海德堡的沃尔多夫（1803年并入巴登公国，今巴登－符腾堡莱茵-内卡尔县）。他的父亲，约翰·雅各·阿斯特（1724年7月7日 - 1816年4月18日）从事屠宰行业。阿斯特起初为父亲推销乳制品。1779年，他时年16，移居英国伦敦，帮长兄乔治·阿斯特（George Astor）制乐器。1784年3月，阿斯特来到刚刚独立的美国。在18世纪80年代末，他开始在纽约市从印第安人手中收购皮毛。他还担任兄弟的乐器行在纽约的代理。1785年9月19日，阿斯特娶萨拉·托德（Sarah