筑物兴建于台湾日治时期的二十世纪初，曾作为棺材店、香铺及油漆店，佔地150坪，为一处洋楼式二进建筑。2004年起，妇女救援基金会开始规划为台籍慰安妇成立博物馆的计画。2009年，马英九政府原先预计在三年后于台北北警察署成立慰安妇纪念馆。2015年中国抗日战争七十週年，中华民国总统马英九曾宣告，台湾第一座慰安妇纪念馆将在同年10月25日台湾光复节揭幕。然而多年来，因为妇援会难寻找合适场地，慰安妇纪念馆并无下文；透过台北市文化局协助，纪念馆曾规划坐落于台北北警察署、剥皮寮等处，最后却因土地产权或都更问题