量中原人士到南方后，属于南海、桂林两郡。刘宋元嘉十三年（436年）分四会银屯乡置县，取名怀集，取招来之意。宜后有永固县之来属，洊水县之并入。置县以来，800年属粤，700年属桂。清代属于梧州府，因其西界仅与平乐府相连，故为梧州府的飞地。民国后撤府，仍属广西省。1952年划归广东省，现属肇庆市管辖。怀集，自置县以来其名一直沿用不变，是两广为数不多的一千又数百年历史的大县之一。
地理.怀集县位于广东省西北部和粤桂湘三省（区）的结合部，处于“泛珠三角”咽喉地带，是广东省西北隅通桂达湘的重要