员陈水扁及台北市议员周伯伦质询政府财产遭钱穆不当佔用，要求钱穆搬家，改设立纪念馆。为避嫌，钱穆于1990年5月主动迁出素书楼，另觅居所，离开时幽默的说：「活的不许住，还没死就要做纪念馆。」，引起社会议论。钱穆也在迁出素书楼3个月后，于同年8月30日，在台北市杭州南路寓所过世。钱妻胡美琦于钱穆逝世二十周年撰文强调：「当年两位蒋总统礼贤下士，定要由政府盖素书楼，他们不是随便作此决定。宾四接受政府的礼遇，也经过了一番深思。『素书楼事件』的发生，有关政治领袖人物的智慧，以及中国传统『士』人的风格气节，这不是一件小事