冠时因为骁勇果敢应募，习武善骑射，勇力过人，隶属于唐庄宗李存勗帐下。与后梁经过百余战，因作战勇敢，立功转任马直军使。同光年间，跟随魏王李继岌破前蜀，受命分统所部，统兵南戍边陬。唐明宗即位，征他还朝授禁军指挥使。石敬瑭灭唐，建立后晋，赵晖参掌禁军，跟随从马全节攻安陆，辅佐杜重威战宗城。累功封奉国指挥使。开运三年（946年），契丹灭晋，赵晖激愤，与部将王宴等驱逐契丹所命官吏，攻下陕州。刘知远建立后汉，任命他为保义军节度使、陕虢等州观察处置使等。干祐二年（949年），改为凤翔节度使，同中书门下平章事。平定王景崇之