宇文部起源自西元一世纪时北匈奴被东汉击走西迁后，留在故地漠北的部众。在东迁，与鲜卑人混居以后被同化的族群，在这段期间该部并曾参加鲜卑首领檀石槐的部落联盟，首领成为鲜卑的东部大人。因此也可以说，宇文部是源自匈奴而后揉合了鲜卑血统的部族。这项看法的根据系《后汉书》记载东汉和帝年间，当时的大将军窦宪派右校尉耿夔击破北匈奴，「鲜卑因此转徙据其地。匈奴余种留者尚有十余万落，皆自号鲜卑。」以及《魏书》认为宇文部是匈奴种，「出于辽东塞外，其先南单于远属也，世为东部大人。其语与鲜卑颇异。」