小早川氏の居城は代々沼田川(ぬたがわ)の対岸にあった高山城であったが、沼田小早川家を継いだ小早川隆景は、天文21年(1552年)、沼田川を挟んだ対岸に新高山城を築き、慶長元年(1596年)に三原城へ移るまで小早川氏の本拠とした。