初李克用去世后，其子继承人李存勖到达击败后梁军解围。战后，李嗣昭每次离开昭义陪李存勖作战，都由张居翰知留后事。每年春天，他都教百姓种植蔬菜和树，尽所能帮助农民。923年二月，李存勖计划建立后唐并称帝，召张居翰和安义（即昭义，为避李嗣昭讳改名）节度判官任圜去魏州见他。此举使在李嗣昭战死后未经李存勖同意就控制了军镇的李嗣昭之子和继承人李继韬心生警惕。他认为李存勖召张、任是准备针对自己，举镇投降了后梁皇帝朱瑱。
后唐年间.四月，李存勗称后唐皇帝，任张居翰和郭崇韬为枢密使，加张居翰特进