开始依附辽国，居住在张皇堡，所以以张为汉姓，称为张晖。后徙居来州（今辽宁绥中南）。他慷慨有志，辽朝末年因战功，封礼宾副使，领来州、隰州、迁州、润州四州屯兵。1122年，归降金朝完颜阿骨打。随完颜阇母定兴中府义州、锦州，以参与击破辽降将张觉，因功授洛州刺史。1125年，随完颜宗望攻打北宋，在孟阳击败宋军。1126年，攻克保州、真定府，围攻开封府。回师，攻打河间府，击败李成的援军。加桂州管内观察使，留守河间府。1127年，跟随完颜宗辅经略山东，攻克青州。再随完颜阇母攻克潍州，加静江军节度使。破泗州，屯军汶阳