席力图召始建于明朝隆庆、万历年间（1567年－1619年）。席力图召最初是个小寺，名叫“古佛寺”，即今席力图召西侧的古佛殿，由阿勒坦汗之子僧格建造。因为该寺第一世席力图活佛根据三世达赖的遗言，代表三世达赖坐其法座，寻访达赖的转世灵童，四世达赖又在该寺举行坐床典礼，从此该寺始称“席力图召”。清朝康熙三十五年（1696年），康熙帝巡幸归化城（今唿和浩特市玉泉区）时，曾在席力图召参加专门举办的诵经法会，临走之前“赐喇嘛唐古特经一部、药王经一部、珊瑚数珠、红珠宝石一盘”（见《归绥县志》）。席力图召经过修葺后，获康熙