乱后随祖逖渡江，司马睿后引为掾属，后转从事中郎，典选举事。后来祖逖北伐有成果，收复豫州大量失土，祖约亦渐见重用，后升迁至侍中。太兴三年（321年），祖逖病死，祖约代为平西将军、豫州刺史，接掌兄长的部众。但祖约无安抚控制手下的才能，部下士卒都不依附他。永昌元年（322年），王敦起兵以讨刘隗等人为名进攻建康，东晋陷入内乱。同年后赵石勒乘祖逖已死而南侵，并围困谯，祖约不能抵抗，朝廷亦无暇北顾，唯有退守寿春，豫州地区因而大乱，被石勒所侵佔。太宁二年（324年），王敦再度举兵，祖约支持朝廷，驱逐王敦指任的淮南太守