的住宅和他的私人图书馆，位于纽约邻近麦迪逊大道的第36街。他的儿子，小J. P.摩根，1924年将皮尔庞特·摩根图书馆改为公共机构以纪念父亲，并留任他父亲的私人图书管理员百丽·达·科斯塔·格林，作为图书馆的首任理事。摩根是许多机构的赞助人，包括美国自然史博物馆，纽约大都会艺术博物馆，格罗顿学校，哈佛大学（特别是医学院），三一学院，纽约市产妇医院，纽约贸易学校。
宝石收藏家.到世纪之交，摩根已成为美国最重要的宝石收藏家之一，收集了美国最重要的宝石收藏，以及最重要的美国宝石（超过1