子李歆的后裔，多称陇西狄道（陇西郡狄道县）人，亦可称陇西成纪（陇西郡成纪县）人。由于唐朝皇室以老子后裔自居，崇尚道教，唐初武德九年太史令傅奕上疏抬道抑佛，引发佛道论争。和尚法琳作《破邪论》《辨证论》反对傅奕。法琳反对唐朝皇室为老子李耳后裔之说，亦与陇西李氏无关，而是拓跋氏后裔，法琳因而触怒唐太宗，被流放益州而死。宋代朱熹与郑思肖以李唐闺门失礼家法缪戾，有李唐源自夷狄的说法。冯承钧认为李虎的兄弟名为起头与乞豆，怀疑李渊家族有可能出身胡人。日本学者金井之忠发表〈李唐源流出于夷狄考〉主张李渊家族出身胡人，