任司空，领尚书左仆射，兼司隶，行留台事，并进封临颍县公。再次年，任太尉，领豫州牧，假节。建武元年（317年），司马睿以荀组为司徒。太兴元年（318年），司马睿即位为帝。同年荀组因受石勒的军事压力，于是率领属下数百人南渡长江。司马睿命荀组与太保西阳王司马羕并录尚书事。永昌元年（322年），下诏荀组改任太尉，领太子太保，但荀组未拜官便逝世，享年六十五岁。谥为元公。