前216年，秦始皇平定岭南地区的百越之地后，中山属南海郡番禺县辖地。秦朝末年，赵佗创立南越国，中山属南越国领地。前111年，汉武帝灭南越国，中山重回汉朝中央管辖。秦汉时期，中山除了原先生活在此地的南越人外，开始有少量的中原人移居至此。三国时，中山属于吴国领地。西晋末年，晋朝皇族之间爆发了史称“八王之乱”的宫廷权力争斗，为躲避战乱，大批中原人口移居岭南，其中一部分来到香山岛上。东晋咸和六年（331年），南海郡分出东官郡，中山改为东官郡辖地。南北朝时期的刘宋永初元年（402年），东官郡改为东莞郡，中山属东莞