纪末的源平合战中，平家在屋岛之战战败后，传说有许多平家落人逃至此避难。1879年实施，原本的祖谷山村被分割为西祖谷山村和东祖谷山村；最初隶属美马郡，直到1950年改隶属三好郡。在21世纪初的平成大合併中，西祖谷山村与同属三好郡下的其他4町1村合併为三好市。