先搬至高雄寿山，隔年又重返清泉温泉，直至1957年10月，张移至高雄西子湾。张生前表示他最爱高雄故居，住在高雄最快乐。起初住在高雄寿山「高雄小白宫」（1949-1950）。1957年再次移到高雄西子湾（1957-1959，后为西子湾蒋介石行馆，今国立中山大学西湾艺廊）。1957年初，张尊蒋之命开始撰写回忆录，4月22日完成，命名为《杂忆随感漫录》。该文中，张指责中共“包藏祸心，别有所图”，赞扬蒋在西安事变中“刚正严厉”，自贬“行动鲁莽，思想幼稚，可耻而又可笑”。稿件上交时，张复函称本人对稿件并不满意