晋国以北（今山西省北部），西与楼烦为邻。后来林胡一度从晋北向东迁至燕北（河北北部）。赵武灵王时，赵国军力强大，“北破林胡、楼烦”，并设置云中、雁门，代三郡，这样一来林胡被赶到鄂尔多斯高原东部。林胡后来又被李牧以奇阵所击败，单于逃亡，从此林胡不知去向。唐朝张谓《同孙构免官后登蓟楼》诗：“犹希虏尘动，更取林胡帐。”
现代考证.清朝记载的兀者，可能是林胡的后代。