I 1834, etter at kostnadene ved produksjon av pels økte og markedet ble mindre, trakk Astor seg ut av pelshandel, og fokuserte deretter på eiendomshandel på Manhattan. Han forutså byens raske vekst nordover på Manhattan-øya, og kjøpte stadig mer land utenfor byens eksisterende grenser. Astor bygget lite på eiendommene sine, og lot isteden andre betale leie for å bruke dem.