Armstrong var ansatt ved Abby Aldrich Rockefeller Folk Art Museum (1968–1971), Pennsylvania Academy of Fine Arts (1971–1974), Whitney Museum of American Art (1974–1990) og Andy Warhol Museum (1993–1995). Han er best kjent for mer å stå bak en firedobling av størrelsen på Whitney Museum sin beholdning av kunst og malerier. Armstrong ble uteksaminert fra Cornell University i 1954 med en bachelorgrad i kunsthistorie. Senere studerte han ved New York University Institute of Fine Arts. Han har også sittet i rådgivende komiteer som Mount Vernon Estate and Gardens og Winterthur Museum & Country Estate. Armstrong var tillitsmannen ved National Building Museum.