家族世为豪族，父亲常安成在正光末年跟随镇将慕容胜击败侵犯边境的茹茹；当时破六韩拔陵作乱胁逼常安成，但他不跟从并率领部下讨伐，以功勋授官伏波将军、给鼓节，之后在和破六韩拔陵对战中阵亡。常善在孝昌年间随同尔朱荣到洛阳，获授威烈将军、都督，并加龙骧将军、中散大夫、直寝，封爵房城县男，食邑三百户。后来他陪同宇文泰平定侯莫陈悦而除授天水郡守。到魏孝武帝西迁时，常善就被转授武卫将军、进封武始县伯，增食邑到二百户。西魏大统初年再加封平东将军，进爵武始县侯。他在生擒窦泰、恢复弘农及沙苑都立下功劳，于是西魏朝廷除授他使持