En 1867, Avery est nommé commissaire responsable du département d'art américain de l'Exposition Universelle de Paris. Il est l'un des fondateurs du Metropolitan Museum of Art, dont il est longtemps l'administrateur, et est membre à vie d'importantes associations scientifiques, artistiques et éducatives. Il fonde la à l'université de Columbia en mémoire de son fils , architecte réputé, mort en 1890. En 1900, il fait don de sa collection de et lithographies à la New York Public Library.