明经淳于晏寄食于门下。霍彦威曾经兵败，只身逃走，左右没有跟随的，只有淳于晏仗剑随其徒步穿越草莽，霍彦威因而高其义，相得甚欢。
后梁年间.朱全忠篡唐建立后梁，为太祖皇帝。开平二年（908年），霍彦威在开封府押衙、右亲从指挥使、检校司空任上被授右龙骧军使（《新五代史》作左龙骧军使）。三年（909年），在右监门卫将军任上被授左天武军使，迁右监门上将军。干化二年（912年），太祖子郢王朱友珪弑太祖，自己夺位。不久，都将刘重遇率领下戍怀州的三千龙骧军作乱，朱友珪派时任东京