后委派五男仁科盛信为城主。1582年，武田氏被灭亡。家康分派保科正俊为城主。1600年关原之战后分封了不少领土，家康派遣正俊孙儿保科正光为高远城城主，俸禄2万5千石，高远藩正式成立。第二代将军德川秀忠与阿静诞下了一名私生子，在7岁起由正光养育，后来名为保科正之，并继承了保科家。在养育正之的功绩下领土加封5000石。1636年正之被幕府移封到出羽国山形藩，继任的藩主是鸟居忠春，之后由鸟居忠则继承，忠则在1689年突然死后，鸟居氏的继承者鸟居忠英被改易到能登下村藩。该地成为了幕府的天领，1691年内藤清枚被