南北朝時代の正平年間（1346年-1369年）に、名和氏の一族上神高直が石山台（岡山）に城を築いたと、「備前軍記」に書かれているのが最初と伝えられている。
南北朝时代正平年间（1346年至1369年），名和氏一族在上神高直的石山台（冈山）筑城，是《备前军记》记载最早的资料，之后150多年的城主资料不明。