此地的南越人外，开始有少量的中原人移居至此。三国时，中山属于吴国领地。西晋末年，晋朝皇族之间爆发了史称“八王之乱”的宫廷权力争斗，为躲避战乱，大批中原人口移居岭南，其中一部分来到香山岛上。东晋咸和六年（331年），南海郡分出东官郡，中山改为东官郡辖地。南北朝时期的刘宋永初元年（402年），东官郡改为东莞郡，中山属东莞郡辖地。隋朝开皇十年（509年），中山属宝安县辖地。唐朝至德二年（757年），宝安县更名东莞县，中山属东莞县辖地。因为中山盛产海盐，官府开始在今珠海市山场村设立了名为香山镇的军事营镇。北宋元