记中写下《思乡歌》：“葬我于高山之上兮，望我大陆；大陆不可见兮，只有痛哭。葬我于高山之上兮，望我故乡；故乡不可见兮，永不能忘。天苍苍，海茫茫，山之上，国有殇。”1964年8月12日，于右任因病于台北荣民总医院住院治疗，后于11月10日20:08病逝。墓位于台湾阳明山国家公园巴拉卡公路上。
身后.于右任去世后，中华民国政府在玉山主峰树立其雕像，计3公尺高，本意在补足4,000公尺高度（玉山当时测量数据为海拔3,997米），并有尊重于右任遥望大陆遗愿「葬我于高山兮，