永徽四年（653年），睦州女子陈硕真起兵造反，派童文宝领兵四千人掩袭婺州（今浙江金华），崔义玄率兵抵御，以司功参军崔玄籍为先锋，在扬州长史房仁裕的统领下，十一月庚戌，陈硕真被俘，崔义玄以功拜御史大夫。武则天被立为皇后的过程中，崔义玄为她谋划，最终将长孙无忌等反武势力去掉。显庆元年（656年）出为蒲州刺史，不久去世，年七十一，赠益州都督，谥号贞。武则天当皇帝后，追念他的功劳，重赠扬州大都督，赐其家实封二百户。