En 1844 se inauguró en diagonal frente al edificio el parque Madison Square, un área verde de 2,8 ha que se extiende hacia el suroeste. El espacio se utilizó ampliamente para eventos culturales y militares, y Madison Avenue en la frontera este del parque se convirtió en una fila residencial de lujo. El sitio del New York Life Building se usó entre 1837 y 1871 como Union Depot de New York &amp; Harlem y New York &amp; New Haven Railroads (ahora parte de la línea principal de Park Avenue ). La ubicación luego albergó un jardín de conciertos llamado Gilmore's Garden, así como el Hipódromo de P. T. Barnum. El primer Madison Square Garden (el MSG) se construyó en 1879 en la esquina noreste de Madison Avenue y 26th Street, y fue reemplazado en 1890 por el segundo Madison Square Garden.