末靺鞨部跟随高句丽对唐军进行了抵抗。公元668年，唐高宗总章元年，高句丽灭亡。唐朝政府为了防止高句丽政权复辟，并有效控制高句丽遗民与临近靺鞨、契丹、奚、等部民，强行将“粟末靺鞨附高丽者”徙居辽西营州，高句丽治下的一部分粟末靺鞨人、白山靺鞨人被与高句丽遗民一同移居安置在营州（今辽宁朝阳）一带。而渤海高王大祚荣的父亲乞乞仲象（当时即为部落酋长）就在这部分粟末靺鞨人当中。乞乞仲象一家自668年被迁到营州到公元698年大祚荣率部众重新迁回“粟末故地”期间在营州生活了近30年，乞乞仲象之子大祚荣正是在这一时期出生