En 1862 se confirma el alto estatus de la Quinta Avenida cuando Caroline Schermerhorn Astor se establece en la esquina suroeste de la calle 34, y es finalmente en 1893 cuando la calle comienza a transformarse de residencial a comercial con la construcción del hotel Astoria en lugar de la residencia, posteriormente unida al edificio contiguo para formar así el Hotel Waldorf-Astoria (hoy emplazamiento del Empire State Building).