中世には守護細川氏などの庇護を受け、元弘の乱による焼失後、延文4年(1359年)に細川氏清が再興した。