Ashbery vive entre Nueva York y la ciudad de Hudson, a riberas del río del mismo nombre, en el condado de Columbia, con su pareja, David Kermani.