石器文化遗址，距今约5000余年。新石器时代则有小西河文化的白音长汗遗址。另外还发现有距今2700年左右的大井古铜矿遗址。
战国至清.战国以来，林西县一直位于长城以北，先后为东胡、匈奴、鲜卑、库莫奚、霫、契丹等北方民族的游牧地。唐贞观二十二年（648年），设松漠都督府，管辖包括今林西县地。辽代，林西县北部属临潢府庆州，南部属饶州。金朝，林西县的嘎斯汰河以北部分属庆州庆民县，以南属临潢府卢川县。元属中书省应昌路。明初属全宁卫，永乐元年（1403年）后，属兀良哈三卫之一的泰宁卫。16世