徙入巴蜀盆地，和汉人杂居一同成为自贡的主体民族，邓关、贡井梭儿坡、大佛岩、雷公坡至今仍存在大量“蛮子洞”（僚人石洞）。同期，僚人开凿出“大公井”，是自贡主市区最早的盐井，与富世井齐名。。晋安帝义熙十年（414年），为整合盐铁资源，置为冶官县，包含了今荣县西境局域和犍为县东境局域，治金井。“有盐有铁，故曰冶官。”这为自贡的建制打下了基础。萧齐初年（479年），僚人占据了铁山地区。僚人利用这里丰富的盐铁资源，掳劫汉人发展盐铁生产，迅速强盛起来，成为赫赫有名的“铁山僚”。南齐末的东昏侯永元三年（501年）