曾任抚军（柳元景）行参军、南徐州祭酒、镇军（刘子勋）行参军。泰始年间，刘子勋造反，荀伯玉参与叛乱，被刘子勋封为新亭侯。刘子勋战败后，荀伯玉来到都城建康以占卜谋生。后荀伯玉出任冠军（萧道成）刑狱参军、平南府（萧道成）参军、晋熙王府（刘燮）参军、镇军（萧道成）中兵参军兼任广陵令。升明年间，出任骠骑（萧道成）中兵参军，兼任济阳太守。后来又加封前军将军。升明二年（478年），萧道成担任太尉后，荀伯玉出任太尉府中兵参军，并继续兼任济阳太守和前军将军。建元元年（479年），萧道成称帝建立南朝齐后，荀伯玉受封南丰县子