旅中，常与儒士交谈，教以书传。宇文泰入关中，贺兰祥和宇文护在晋阳，后从晋阳入平凉。532年，17岁为奉朝请，加位威烈将军。贺兰祥被提拔为都督，常在宇文泰幕府下。534年，在宇文泰麾下讨侯莫陈悦，迎北魏孝武帝入关中。因前后之功，封抚夷县伯。攻撃东魏潼关，捕获东魏将薛长瑜，又攻下回洛城，凯旋，任左右直长，进爵位为公。537年，在仪同于谨麾下攻杨氏壁，贺兰祥先登城，攻克杨氏壁。转任右卫将军，加持节、征虏将军。沙苑之战，贺兰祥留守长安，为镇西将军。538年，率军战于河桥，因功加使持节、大都督。