椿之子。斛斯征自幼聪颖，五岁暗诵《孝经》、《周易》。534年（永熙三年）和父亲随魏孝武帝入关。长大后，博览群书，习《三礼》，善解音律。以父之功封城阳郡公。西魏大统末年，初任通直散骑常侍，进太常少卿。雅乐废缺，斛斯征搜集典故，创新改旧。当时有一种失传的乐器錞于，有人从蜀地得到，只有斛斯征认识。他引用干宝《周礼注》的记述，用芒筒捋它，声音非常激越。斛斯征用它来作合奏乐。556年（西魏恭帝三年）建六官，斛斯征官拜司乐下大夫。后进司乐中大夫，受位骠骑大将军、开府。转任内史下大夫。568年（天和三年），周武帝