业末年投奔李密起义军，未受重用，一日见群鼠渡河，又见槊刃有花文，对左右亲近之人说道：「这是东晋王敦败亡之兆啊。」。后前往游说据守柏崖的黄君汉，劝其投靠李渊，归唐后被授为怀州总管府司马，与黄君汉一起，击败王世充大将高毗，以功封清丘县公。后从秦王李世民灭掉王世充，攻占洛阳，转任隰州都督府长史。贞观年间，与友人孟神庆一起在韩王李元嘉府中任王府长史。唐高宗永徽年间，崔义玄任婺州刺史。永徽四年（653年），睦州女子陈硕真起兵造反，派童文宝领兵四千人掩袭婺州（今浙江金华），崔义玄率兵抵御，以司功参军崔玄籍为先锋，在