期曾是散军、难民的逃避藏匿之所，主要有突厥、羌族、戎族、阿巴特族等，羌族戎族最强，是黄渚早期开拓者。唐朝时黄渚以高氏为首，曾建立五凤朝阳寺，旧址在上街崖头翠柏对面，焚纸炉尚存，其炉柱上刻：“唐贞观二年”。唐天佑年间曾修建高公桥一座以方便两岸来往。宋、元、明、清时期，有部分四川居民为躲避战乱移民黄渚，据《康县志》记载，公元1466年，四川绵竹十字坡马氏携李陇、李澄、李由三子来碾子坝定居。黄渚关山崖壑石碑记载的明万历年间成邑儒学学生十二人中，有李陇、李由之名。由于地理位置重要，历史上此地曾设黄渚关。