马腾的军事压力下与惠帝逃出根据地邺城，南逃洛阳。当时控制洛阳的张方强迁惠帝到司马颙根据地长安后，荀组留洛阳，先后任尚书、衞尉，获封成阳县男，加散骑常侍，中书监。后转司隶校尉，加特进、光禄大夫。当时荀组兄长荀藩为太子少傅、尚书令，二人地位皆高贵显赫，但因八王之乱后天下大乱，恐怕不能立足于乱世，所以议论朝政时都婉转发言。永嘉五年（311年），朝廷下诏命荀组改任侍中，领太子太保，但未拜官即发生永嘉之乱，荀组和荀藩等人都在前赵军队攻到洛阳前出走。怀帝被俘后，荀组等人在荥阳密县建立行台，同时佔据冀州和幽州的大司马