总统蒋中正得知此事，透过蒋经国表示建筑素书楼的规划理当由政府负责，要求胡美璜交出建筑设计图，并对胡美璜说后续之事不需要再过问。于是钱氏夫妻已无法推诿政府筹建素书楼的事务。钱穆搬离素书楼之后卧病在床，胡美琦对钱穆说：「我们自己该要辨明的是民国72年以前没有契约时的两点理由，一是为两位去世的蒋总统争清名。我们认定素书楼是国家宾馆，不是台北市政府的宿舍。当年两位蒋总统是公开兴建素书楼的，二十年来不是没有民意代表，但从没有异议，这一段时期自属合法。时代变了，这表示礼贤下士的时期在台湾已经结束。所以我们只有搬出素书楼