初期，以牛、猪携入山地的方式，与布农族修睦，并换得谷物。但由于该地常遭水患，最迟在1845年，部落再搬迁至秀姑峦溪东侧，仍名大庄（今富里乡东里村），长良的大庄改称为旧庄。之后凤山县、台湾县之马卡道族人、大武壠族人及西拉雅族人纷纷东来，陆续在今玉里、富里、池上、关山等乡镇建立部落，1879年前后的《台湾舆图》一书，将这些部落称为璞石阁平埔八社。定居于玉里之平埔原住民多为大武壠族。依据陈英〈台东志〉一文的记录，1850年代玉里已有汉人进入定居，并与原住民从事贸易，但本镇较具规模的发展，是到1875年