栋1838年的排屋改造为画廊和自己的住宅，1936年改造为博物馆。在20世纪40年代，有一个未实现的计划，将惠特尼的收藏品纳入大都会艺术博物馆作为75周年庆典的一部分。1954年，博物馆向北搬到第五大道和第六大道之间的54街新址；1966年又迁至麦迪逊大道945号（东75街）。该建筑位于纽约市地标保护委员会于1969年设立的格林尼治村历史街区内, 并于1992年列为为国家历史地标。