582年清洲会议以前城主改由堀秀政担当，其后由堀尾吉晴成为城主。1590年石田三成成为城主（註：年份可能有异），开始进行大规模的增筑，建立了一座五层天守的城堡。曾被人一言「石田三成提及两样重要的事物，一是岛左近，另一是佐和山城。」但是三成长时间逗留伏见城。关原之战西军败战后，第二天以小早川秀秋为主力的部队对城池进行攻击。在城主三成不在作出勐烈防守。战斗胜利后，东军以为是一座非常豪华的城堡，然而城池没有作出任何的修饰。此后，德川家康派遣了井伊直政成为城主，可惜领地对于三成的善政仍然无法忘记，为此，