亲近之人说道：「这是东晋王敦败亡之兆啊。」。后前往游说据守柏崖的黄君汉，劝其投靠李渊，归唐后被授为怀州总管府司马，与黄君汉一起，击败王世充大将高毗，以功封清丘县公。后从秦王李世民灭掉王世充，攻占洛阳，转任隰州都督府长史。贞观年间，与友人孟神庆一起在韩王李元嘉府中任王府长史。唐高宗永徽年间，崔义玄任婺州刺史。永徽四年（653年），睦州女子陈硕真起兵造反，派童文宝领兵四千人掩袭婺州（今浙江金华），崔义玄率兵抵御，以司功参军崔玄籍为先锋，在扬州长史房仁裕的统领下，十一月庚戌，陈硕真被俘，崔义玄以功拜御史大夫。