并非标准四合院，而是南北两排平房。张伯驹、潘素夫妇唯一的女儿张传綵继承了这所私宅。她努力推动纪念馆的建成，并在自己78岁时搬离该院。张传綵及其儿子楼开肇同中华人民共和国文化部直属的中华社会文化发展基金会合作，由该基金会推动成立了此纪念馆。中华人民共和国国务院副总理王岐山曾对此作出批示。2011年6月19日上午，在张伯驹潘素故居举行了纪念馆启动仪式的新闻发布会，纪念馆正式揭牌成立。
展览.纪念馆馆名“张伯驹潘素故居”由书法家欧阳中石题写。纪念馆院内设有铜像。纪念馆内设五个展厅：