时代是诹访氏部下高远赖继统治的城堡。1545年，高远赖继被武田信玄（当时仍称武田晴信）击败。高远城成为了武田氏的领土，信玄其后委派五男仁科盛信为城主。1582年，武田氏被灭亡。家康分派保科正俊为城主。1600年关原之战后分封了不少领土，家康派遣正俊孙儿保科正光为高远城城主，俸禄2万5千石，高远藩正式成立。第二代将军德川秀忠与阿静诞下了一名私生子，在7岁起由正光养育，后来名为保科正之，并继承了保科家。在养育正之的功绩下领土加封5000石。1636年正之被幕府移封到出羽国山形藩，继任的藩主是鸟居忠春，之后由鸟居