于858年，出生地及成为宦官的缘由不详。唐懿宗咸通年间（860年-874年），他被掖庭令张从玫收为养子（故他可能最初本不姓张），因而得以荫官，曾任容管监军判官。唐僖宗中和三年（883年），张居翰被召回为学士院判官。后迁枢密承旨、内府令，赐绯衣。唐昭宗于896年至898年流亡华州，授张居翰内常侍，出任卢龙监军，与节度使刘仁恭相善。后来昭宗召张居翰回长安，刘仁恭上表留张居翰在卢龙。天复三年（903年），处在大军阀宣武军节度使朱全忠控制下的昭宗在朱全忠及其盟友宰相崔胤敦促下下诏屠戮宦官，刘仁恭将张居翰藏匿