社（今山西榆社县）人。陈桥兵变的六功臣之一。祖父张简，唐检校尚书左仆射（张简可能是唐末的武将，尚书左仆射在唐代后期不少是武将的加衔）。叔父张虔钊在后唐明宗初年，任护驾亲军都指挥使，长兴年间，为山南西道节度使兼西面马步军都部署，后唐末年，归附后蜀。后周末年，张光翰任虎捷左厢都指挥使，是侍卫亲军步军都指挥使张令铎的部属。960年，陈桥兵变，殿前都指挥使石守信、侍卫亲军马军都指挥使高怀德、侍卫亲军步军都指挥使张令铎、殿前都虞候王审琦、虎捷右厢都虞候张光翰、龙捷右厢部指挥使赵彦徽六人为首拥立赵匡胤黄袍加身，