四月，李存勗在兴教门之变中被杀，在邺城之变中被叛军拥立的李嗣源，很快进兵洛阳以控制局势，在张居翰等人劝进下，初称监国（后自己称帝）。李嗣源监国后不久，张居翰在至德宫面请退休，李嗣源许之。张居翰此后返回长安，李嗣源以其养子张延贵为西京职事，以便供养张居翰。天成三年（928年）四月，张居翰在长安病故。有墓志《唐故内枢密使推诚保运致理功臣骠骑大将军守右骁卫上将军知内侍省事上柱国清河县开国伯食邑七百户张公墓志铭并序》。