治承・寿永の乱(源平合戦)の時、平通盛が木曾義仲との戦いのためにここに城を築いたのが最初と伝えられる。