于谨麾下攻杨氏壁，贺兰祥先登城，攻克杨氏壁。转任右卫将军，加持节、征虏将军。沙苑之战，贺兰祥留守长安，为镇西将军。538年，率军战于河桥，因功加使持节、大都督。542年，转任车骑大将军、仪同三司、散骑常侍。543年，在宇文泰麾下与东魏军进行邙山之战，进骠骑大将军、开府仪同三司，加侍中。548年，任都督三荆南襄南雍平信江随二郢淅十二州诸军事、荆州刺史，进博陵郡公。在荆州有善政，民情安定、流民有定所、周边少数民族归顺。当地有盗墓盗掘风习，他命令掩埋尸骨。公私赠答，一无所受、南梁岳阳王萧詧赠竹屏风