年代末，阿斯特预见到纽约将成为世界性的都会之一。他退出皮毛生意，全力买入曼哈顿的土地，购入土地之广，甚至超出了现时城界（City limits）。阿斯特绝少在土地上兴筑，因为承租人代他在上面大兴土木。退休后，阿斯特开始赞助文化事业。曾受他赞助的有：鸟类学家约翰·詹姆斯·奥杜邦、诗人爱伦·坡。
遗愿.1848年，阿斯特去世时，是全美首富，遗产至少值2000万美元，占当时美国国民生产总值1/107。在2006年的福布斯“有史以来最富有的美国人”排行榜中，阿斯特以1101亿美元（估计