后被授为怀州总管府司马，与黄君汉一起，击败王世充大将高毗，以功封清丘县公。后从秦王李世民灭掉王世充，攻占洛阳，转任隰州都督府长史。贞观年间，与友人孟神庆一起在韩王李元嘉府中任王府长史。唐高宗永徽年间，崔义玄任婺州刺史。永徽四年（653年），睦州女子陈硕真起兵造反，派童文宝领兵四千人掩袭婺州（今浙江金华），崔义玄率兵抵御，以司功参军崔玄籍为先锋，在扬州长史房仁裕的统领下，十一月庚戌，陈硕真被俘，崔义玄以功拜御史大夫。武则天被立为皇后的过程中，崔义玄为她谋划，最终将长孙无忌等反武势力去掉。显庆元年（65