西李神俊有鉴别人才的能力，见到崔彦穆而赞叹的说：“这是辅佐帝王的人才。”永安末年，崔彦穆出任司徒府参军事，转任司徒府记室，升任大司马从事中郎。魏孝武帝元修西迁关中时，崔彦穆来不及随从。大统三年（537年），崔彦穆和哥哥崔彦珍在成皋起兵举义，顺势攻占荥阳郡，俘虏东魏荥阳郡太守苏淑，又和乡郡王元洪威攻打颍川郡，斩杀东魏颍州刺史李景遗。魏文帝元宝炬赞赏崔彦穆，任命他出任镇东将军、金紫光禄大夫、荥阳郡太守。大统四年（538年），崔彦穆兼代理右民郎中、颍川邑中正，获赐爵千乘县侯。大统十四年（548年），崔彦穆加使