，荀伯玉来到都城建康以占卜谋生。后荀伯玉出任冠军（萧道成）刑狱参军、平南府（萧道成）参军、晋熙王府（刘燮）参军、镇军（萧道成）中兵参军兼任广陵令。升明年间，出任骠骑（萧道成）中兵参军，兼任济阳太守。后来又加封前军将军。升明二年（478年），萧道成担任太尉后，荀伯玉出任太尉府中兵参军，并继续兼任济阳太守和前军将军。建元元年（479年），萧道成称帝建立南朝齐后，荀伯玉受封南丰县子，食邑四百户，并转任辅国将军、武陵王（萧曅）征虏司马，之后又接连担任安成王（萧暠）冠军司马、豫章王（萧嶷）司空咨议，继续兼任济阳太