Más tarde el lugar fue ocupado por el Waldorf-Astoria Hotel a finales del siglo XIX, y fue frecuentado por "Los Cuatrocientos", la élite social de Nueva York.