和河间邢子才、京兆韦孝宽一起进入中书学，三人之间特别友好。崔彦穆倾心于儒学，为当时人所称赞。北魏吏部尚书陇西李神俊有鉴别人才的能力，见到崔彦穆而赞叹的说：“这是辅佐帝王的人才。”永安末年，崔彦穆出任司徒府参军事，转任司徒府记室，升任大司马从事中郎。魏孝武帝元修西迁关中时，崔彦穆来不及随从。大统三年（537年），崔彦穆和哥哥崔彦珍在成皋起兵举义，顺势攻占荥阳郡，俘虏东魏荥阳郡太守苏淑，又和乡郡王元洪威攻打颍川郡，斩杀东魏颍州刺史李景遗。魏文帝元宝炬赞赏崔彦穆，任命他出任镇东将军、金紫光禄大夫、荥阳郡太守。