设象郡，湛江辖地归属象郡。前111年，南部徐闻、海康、遂溪三县属交趾部徐闻县；北部吴川、廉江两县分属交趾部高凉县和合浦县。634年，改名「雷州」，统管雷州半岛徐闻、海康、遂溪三县。元朝，上述三县隶属湖广省之海北海南道雷州路；吴川县、石城县则隶属高州路。明朝初，两广与江西、湖南分开，雷州逮属广西承宣布政使司。由于广西壮、黎、瑶三个民族反明起事勐烈，明朝皇帝朱元璋采用分而治之的办法，洪武二年（1369年）把黎族聚居的海南及广西门户雷州、钦州、廉州划归广东承宣布政使司，雷州府下辖徐闻、海康、遂溪三县，