Etter at han pensjonerte seg fra forretningene brukte Astor resten av livet på å fremme kultur. Han støttet John James Audubon, Edgar Allan Poe, Henry Clays presidentkampanje. Da han døde var Astor den rikeste personen i USA, med en formue på minst 20 millioner dollar. Han testamenterte midler til å bygge Astor-biblioteket i New York og et fattighus i sin fødeby Walldorf. Sønnen William Backhouse Astor sr. arvet størstedelen av formuen.