崔巨伦自幼成为孤儿，长大后博览经书史籍，善写文章有武艺，为魏宣武帝元恪担任挽郎，被授任冀州镇北府墨曹参军、太尉记室参军。崔巨伦的叔叔崔楷担任殷州刺史时，崔巨伦随之担任长史、北道别将。崔巨伦在殷州被葛荣的军队擒获，仍收敛死者抚恤众人，被贼寇视做义士。葛荣听说崔巨伦的才干和名气，想任用他为黄门侍郎，崔巨伦心中感到厌恶。到五月五日，葛荣会集官僚，命令崔巨伦赋诗，崔巨伦于是说：“五月五日时，天气已大热。狗便呀欲死，牛复吐出舌。”崔巨伦用这种方式自我隐藏才能，免于被葛荣授予官职。不久，崔巨伦暗中结交敢死之士，趁