I 1963 ble Ashbery kjent med reklamemannen, poeten og kunstneren Andy Warhol. De møttes for første gang på en planlagt poesilesing ved Literary Theatre i New York.